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内 容 简介 


本 书 主 要 讲述 采用 现代 C++ 在 x86-64 Linux 上 编写 多 线程 TCP 网 络 
服务 程序 的 主流 常规 技术 ， 重 点 讲解 一 种 适应 性 较 强 的 多 线程 服务 器 
的 编程 模型 ， 即 one loop per thread。 这 是 在 Linux 下 以 native 语 言 编写 
用 户 态 高 性 能 网 络 程序 最 成 熟 的 模式 ， 掌 握 之 后 可 顺利 地 开发 各 类 常 
见 的 服务 端 网 络 应 用 程序 。 本 书 以 muduo 网 络 库 为 例 ， 讲 解 这 种 编程 
模型 的 使 用 方法 及 注意 事项 。 

本 书 的 宗旨 是 贵 精 不 贵 多 。 掌 握 两 种 基本 的 同步 原 语 就 可 以 满足 
各 种 多 线程 同步 的 功能 需求 ， 还 能 写 出 更 易 用 的 同步 设施 。 掌 握 一 种 
进程 间 通 信 方 式 和 一 种 多 线程 网 络 编程 模型 就 足以 应 对 日 党 开发 任 
务 ， 编 写 运行 于 公司 内 网 环境 的 分 布 式 服务 系统 。 


未 经 许可 ， 不 得 以 任何 方式 复制 或 抄袭 本 书 之 部 分 或 全 部 内 容 。 
版 权 所 有 ， 侵 权 必 究 。 

图 书 在 版 编目 (CIP) 数据 

Linux 多 线程 服务 端 编程 : 使 用 muduo C++ 网 络 库 一 陈 硕 著 . 一 北京 : 
电子 工业 出 版 社 ，2013.1 


ISBN 978-7-121-19282-1 


| ， OL..， 中， @ 陈 ..， 川 ，@Linux 操 作 系 统一 程序 设计 1V. 
VTP316.89 


中 国 版 本 图 书馆 CIP 数 据 核 字 (2012) 第 304000 号 


策划 编辑 : 张 春 雨 


责任 编辑 : 


印刷: 
装 订 : 
出 版 发 行 : 
开 本 : 
印 次 : 
印 数 : 


李 云 静 

北京 丰 源 印刷 厂 

三 河 市 鹏 成 印 业 有 限 公司 

电子 工业 出 版 社 

北京 市 海淀 区 万 寿 路 173 信 箱 ”邮编 100036 
787x980 ”1/16 印张 : 38.5 字数 : 801 千 字 
2013 年 1 月 第 1 次 印刷 

3000 册 ”定价 : 89.00 元 


凡 所 购买 电子 工业 出 版 社 图 书 有 缺损 问题 ， 请 向 购买 书店 调换 。 
若 书 店 售 缺 ， 请 与 本 社 发 行 部 联系 ， 联 系 及 邮购 电话 : (010) 


88254888。 


质量 投诉 请 发 邮件 至 zlts@phei.com.cn， 盗 版 侵权 举报 请 发 邮件 至 
dbqq@phei.com.cno 
服务 热线 : (010) 88258888。 


Linux 多 线程 服务 端 编程 
使 用 muduo C++ 网 络 库 


陈 硕 (giantchen@gmail.com) 
最 后 更 新 2012-12-24 


内 容 简 介 


本 书 主要 讲述 采用 现代 C++ 在 x86-64 Linux 上 编写 多 线程 TCP 网 络 
服务 程序 的 主流 常规 技术 ， 重 点 讲解 一 种 适应 性 较 强 的 多 线程 服务 器 
的 编程 模型 ， 即 one loop per thread。 这 是 在 Linux 下 以 native 语 言 编写 
用 户 态 高 性 能 网 络 程序 最 成 熟 的 模式 ， 掌 握 之 后 可 顺利 地 开发 各 类 常 
见 的 服务 端 网 络 应 用 程序 。 本 书 以 muduo 网 络 库 为 例 ， 讲 解 这 种 编程 
模型 的 使 用 方法 及 注意 事项 。 

本 书 的 宗旨 是 贵 精 不 贵 多 。 掌 握 两 种 基本 的 同步 原 语 就 可 以 满足 
各 种 多 线程 同步 的 功能 需求 ， 还 能 写 出 更 易 用 的 同步 设施 。 掌 握 一 种 
进程 间 通 信 方 式 和 一 种 多 线程 网 络 编程 模型 就 足以 应 对 日 党 开发 任 
务 ， 编 写 运行 于 公司 内 网 环境 的 分 布 式 服务 系统 。 
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封底 文案 


看 完了 W. Richard Stevens 的 传世 经 典 《UNIX 网 络 编程 》， 能 照 着 
例子 用 Sockets API 编 写 echo 服 务 ， 却 仍然 对 稍微 复杂 一 点 的 网 络 编程 
任务 感到 无 从 下 手 ? 学 习 网 络 编程 有 哪些 好 的 练 手 项 目 ? 书 中 示例 代 
码 把 业务 逻辑 和 Sockets 调 用 混在 一 起 ， 似 乎 不 利于 将 来 扩展 ?网 络 编 
程 中 遇 到 一 些 具 体 问题 该 怎么 办 ? 例如 : 


.程序 在 本 机 测试 正常 ， 放 到 网 络 上 运行 就 经 常 出 现 数据 收 不 全 的 
情况 ? 

TCP 协议 真 的 有 所 谓 的 “ 粘 包 问题 * 吗 ? 该 如 何 设计 消息 帧 的 协 
议 ? 又 该 如 何 编码 实现 分 包 才 不 会 掉 到 陷阱 里 ? 

: 带 外 数据 (OOB) 、 信 号 驱动 IO 这 些 高 级 特性 到 底 有 没有 用 ? 

:网 络 协 议 格 式 该 怎么 设计 ? 发 送 C struct 会 有 对 齐 方 面 的 问题 吗 ? 
对 方 不 用 C/C++ 怎么 通信 ? 将 来 服务 端 软 件 升级 ， 需 要 在 协议 中 增加 
一 个 字段 ， 现 有 的 客户 端 就 必须 强制 升级 ? 

.要 处 理 成 千 上 万 的 并 发 连接 ， 似 乎 《UNIX 网 络 编程 》 介 绍 的 传 
统 fork() 模 型 应 付 不 过 来 ， 该 用 哪 种 并 发 模型 呢 ? 试 试 
select(2)/poll(2)/epoll(4) 这 种 IO 复 用 模型 吧 ， 又 感觉 非 阻 塞 IO 陷阱 重 
重 ， 怎 么 程序 的 CPU 使 用 率 一 直 是 1009%0? 

.要 不 改 用 现成 的 libevent 网 络 库 吧 ， 怎 么 查询 一 下 数据 库 就 把 其 他 
连接 上 的 请 求 给 耽误 了 ? 再 用 个 线程 池 吧 。 万 一 发 回响 应 的 时 候 对 方 
已 经 断 开 连接 了 怎么 办 ? 会 不 会 串 话 ? 


读 过 《UNIX 环 境 高 级 编程 》， 想 用 多 线程 来 发 挥 多 核 CPU 的 性 能 
潜力 ， 但 对 程序 该 用 哪 种 多 线程 模型 感到 一 头 雾 水 ”有 没有 值得 推荐 
的 适用 面 广 的 多 线程 IO 模型 ” 互 斥 器 、 条 件 变量 、 读 写 锁 、 信 号 量 这 
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些 底层 同步 原 语 哪些 该 用 哪些 不 该 用 ? 有 没有 更 高 级 的 同步 设施 能 简 


化 开发 ? 《UNIX 网 络 编程 第 2 卷 ;》 介 绍 的 那些 琳琅 满目 的 进程 间 
通信 (IPC) 机 制 到 底 用 哪个 才能 兼顾 开发 效率 与 可 伸缩 性 ? 


网 络 编程 和 多 线程 编程 的 基础 打 得 差不多 ， 开 始 实 际 做 项 目 了 ， 
更 多 问题 扑面 而 来 : 


.网 上 听 人 说 服务 端 开 发 要 做 到 7x24 运 行 ， 为 了 防止 内 存 碎 片 连 动 
态 内 存 分 配 都 不 能 用 ， 那 岂 不 是 连 C++ STL 也 一 并 禁用 了 ? 硬件 的 可 
靠 性 高 到 值得 去 这 么 做 吗 ? 

.传闻 服务 端 开发 主要 通过 日 志 来 查 错 ， 那 么 日 志 里 该 写 些 什么 ? 
日 志 是 写 给 谁 看 的 ? 怎样 写 日 志 才 不 会 影响 性 能 ? 

分 布 式 系统 跟 单机 多 进程 到 底 有 什么 本 质 区 别 ? 心跳 协议 为 什么 
是 必需 的 ， 访 如何 实现 ? 

-C++ 的 大 型 工程 该 如 何 管理 ? 库 的 接口 如 何 设计 才能 保证 升级 的 
时 候 不 破坏 二 进 制 兼容 性 ? 有 没有 更 适合 大 规模 分 布 式 系统 的 部 署 方 
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这 本 《Linux 多 线程 服务 端 编程 : 使 用 muduo C++ 网 络 库 》 中 ， 作 
者 凭借 多 年 的 工程 实践 经 验 试 图 解答 以 上 疑问 。 当 然 ， 内 容 还 远 不 止 
这 些 ..…;.. 
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本 书 主要 讲述 采用 现代 C++ 在 x86-64 Linux 上 编写 多 线程 TCP 网 络 
服务 程序 的 主流 常规 技术 ， 这 也 是 我 对 过 去 5 年 编写 生产 环境 下 的 多 线 
程 服务 端 程序 的 经 验 总 结 。 本 书 重 点 讲解 多 线程 网 络 服务 器 的 一 种 IO 
模型 ， 即 one loop per thread。 这 是 一 种 适应 性 较 强 的 模型 ， 也 是 Linux 
下 以 native 语 言 编写 用 户 态 高 性 能 网 络 程序 最 成 熟 的 模式 ， 掌 握 之 后 可 
顺利 地 开发 各 类 常见 的 服务 端 网 络 应 用 程序 。 本 书 以 muduo 网 络 库 为 
例 ， 讲 解 这 种 编程 模型 的 使 用 方法 及 注意 事项 。 

muduo 是 一 个 基于 非 阻塞 1O 和 事件 驱动 的 现代 C++ 网 络 库 ， 原 生 支 
持 one loop per thread 这 种 IO 模 型 。muduo 适 合 开发 Linux 下 的 面向 业务 
的 多 线程 服务 端 网 络 应 用 程序 ， 其 中 “面向 业务 的 网 络 编程 ”的 定义 见 
附录 A。 “现代 C++? 指 的 不 是 C++11 新 标准 ， 而 是 2005 年 TR1 发 布 之 后 
的 C++ 语言 和 库 。 与 传统 C++ 相 比 ， 现 代 C++ 的 变化 主要 有 两 方面 : 资 
源 管 理 〈 见 第 1 章 ) 与 事件 回调 〈 见 此 处 ) 。 

本 书 不 是 多 线程 编程 教程 ， 也 不 是 网 络 编程 教程 ， 更 不 是 C++ 教 
程 。 读 者 应 该 已 经 大 致 读 过 《UNIX 环 境 高 级 编程 》、 《UNIX 网 络 编 
程 》、《C++ Primer》 或 与 之 内 容 相 近 的 书籍 。 本 书 不 谈 C++11， 因 为 
目前 (2012 年 ) 主流 的 Linux 服 务 端 发 行 版 的 g++ 版 本 都 还 停留 在 4.4， 
C++11 进 入 实用 尚 需 一 段 时 日 。 

本 书 适 用 的 硬件 环境 是 主流 x86-64 服 务 器 ， 多 路 多 核 CPU、 几 十 
GB 内 存 、 千 兆 以 太 网 互联 。 除 了 第 5 章 讲 诊断 日 志 之 外 ， 本 书 不 涉及 
文件 IO。 

本 书 分 为 四 大 部 分 ， 第 1 部 分 “C++ 多 线程 系统 编程 ”考察 多 线程 下 
的 对 象 生 命 期 管理 、 线 程 同 步 方法 、 多 线程 与 C++ 的 结合 、 高 效 的 多 线 
程 日 志 等 。 第 2 部 分 “muduo 网 络 库 ” 介 绍 使 用 现成 的 非 阻 塞 网 络 库 编写 
网 络 应 用 程序 的 方法 ， 以 及 muduo 的 设计 与 实现 。 第 3 部 分 “工程 实践 经 


验 谈 ”介绍 分 布 式 系统 的 工程 化 开发 方法 和 C++ 在 工程 实践 中 的 功能 特 
性 取舍 。 第 4 部 分 “附录 ”分 享 网 络 编程 和 和 C++ 语言 的 学 习 经 验 。 

本 书 的 宗 虽 是 贵 精 不 贵 多 。 掌 握 两 种 基本 的 同步 原 语 就 可 以 满足 
各 种 多 线程 同步 的 功能 需求 ， 还 能 写 出 更 易 用 的 同步 设施 。 掌 握 一 种 
进程 间 通 信 方 式 和 一 种 多 线程 网 络 编程 模型 就 足以 应 对 日 常 开 发 任 
务 ， 编 写 运行 于 公司 内 网 环境 的 分 布 式 服务 系统 。 (本 书 不 涉及 分 布 
式 存储 系统 ， 也 不 涉及 UDP。 ) 


术语 与 排版 范例 


本 书 大 量 使 用 英文 术语 ， 甚 至 有 少量 大 文 引 文 。 设 计 模 式 的 名 字 
一 律 用 英文 ， 例 如 Observer、Reactor、Singleton。 在 中 文 术 语 不 够 突出 
时 ， 也 会 使 用 英文 ， 例 如 class、heap、event loop、STL algorithm 等 。 
注意 几 个 中 文 C++ 术 语 : 对 象 实体 (instance) 、 辑 数 重 载 决议 

(resolution) 、 模 板 具 现 化 (〈instantiation) 、 覆 写 (override) 虚 函 
数 、 提 领 (dereference) 指针 。 本 书 中 的 英语 可 数 名 词 一 般 不 用 复数 
形式 ， 例 如 两 个 class，6 个 syscall; 但 有 时 会 用 (s) 强 调 中 文 名 词 是 复 
数 。fd 是 文件 描述 符 (file descriptor) 的 缩写 。“CPU 数 目 ” 一 般 指 的 是 
核 (core) 的 数目 。 容 量 单位 KB、MB、GB 表 示 的 字 节 数 分 别 为 10: 、 
10* 、10* ， 在 特别 强调 准确 数值 时 ， 会 分 别 用 KiB、MiB、G 记 表示 27 
、2”、2” 字 节 。 用 诸如 811.5 表 示 本 书 第 11.5 节 ，L42 表 示 上 下 文中 出 现 
的 第 42 行 代码 。[JCP]、[CC2e] 等 是 参考 文献 ， 见 书 末 清 单 。 

一 般 术 语 用 普通 罗马 字体 ， 如 mutex 、socket ; C++ 关键 字 用 无 衬 
线 字体 ， 如 class 、this 、mutable ; 义 数 名 和 class 名 用 等 宽 字 体 ， 如 
fork(2) 、muduo: :EventLoop ， 其 中 fork(2) 表 示 系 统 国 数 fork0O 的 文档 位 
于 manpage 第 2 节 ， 可 以 通过 man 2 fork 命 令 查看 。 如 果 辆 数 名 或 类 名 过 
长 ， 可 能 会 折 行 ， 行 末 有 连 字 号 <-”， 如 EventLoop-ThreadPool。 文 件 路 
径 和 URL 采 用 窒 字 体 ， 例 如 muduo/base/Date.h 、http://chenshuo.com。 用 
中 文 楷体 表示 引述 别人 的 话 。 


代码 


本 书 的 示例 代码 以 开源 项 目的 形式 发 布 在 GitHub 上 ， 地 址 是 
http://github.com/ chenshuo/recipes/ 和 httpy/github.comychenshuo/muduo/ 。 本 书 
配套 页 面 提 供 全 部 产 代 码 打包 下 载 ， 正 文中 出 现 的 类 似 recipes/thread 的 
路 径 是 压缩 包 内 的 相对 路 径 ， 读 者 不 难 找到 其 对 应 的 GitHub URL。 本 
书 引 用 代码 的 形式 如 下 ， 左 侧 数 字 是 文件 的 行 号 ， 右 侧 的 “ 
muduo/base/ 和 ypes.h ”是 文件 路 径 :。 例 如 下 面 这 几 行 代码 是 muduo::string 
的 typedef。 


muduo/base/Types.h 
15 namespace muduo 
16 
17 
18 #ifdef MUDUO_STD_STRING 
19 Using std::string; 
20 #else // !MUDUO_STD_STRING 
21 typedef __gnu_cxx::__sso_string string; 
22 #endif 
muduo/base/Types.h 
本 书 假定 读者 熟悉 diff -u 命 令 的 输出 格式 ， 用 于 表示 代码 的 改动 。 
本 书 正 文中 出 现 的 代码 有 时 为 了 照顾 排版 而 略 有 改写 ， 例 如 改变 


缩 进 规则 ， 去 掉 单 行 条 件 语句 前 后 的 花 括号 等 。 就 编程 风格 而 论 ， 应 
以 电子 版 代码 为 准 。 


联系 方式 


邮箱 : giantchen@gmail.com 
主页 : http://chenshuo.com/book (正文 和 脚注 中 出 现 的 URL 可 从 这 里 找 
到 。) 
微 博 : http://weibo.com/giantchen 
博客 : http://blog.csdn.net/Solstice 
代码 : http://github.com/chenshuo 
陈 硕 
中 国 -香港 


注释 


1 ”在 第 6、7 两 章 的 muduo 示 例 代 码 中 ， 路 径 muduo/examples/XXX 会 简写 为 examplesAXXX 
。 此 外 ， 第 8 章 会 把 recipes/reactor/XXX 简写 为 reactor/XXX 。 


第 1 部 分 
C++ 多 线程 系统 编程 


第 1 章 ”线程 安全 的 对 象 生命 期 管理 


编写 线程 安全 的 类 不 是 难事 ， 用 同步 原 语 (synchronization 
primitives) 保护 内 部 状态 即 可 。 但 是 对 象 的 生 与 死 不 能 由 对 象 自身 拥 
有 的 mutex 〈 互 斥 器 ) 来 保护 。 如 何 避 免 对 象 析 构 时 可 能 存在 的 race 
condition ( 竞 态 条 件 ) 是 C++ 多 线程 编程 面临 的 基本 问题 ， 可 以 借助 
Boost 库 中 的 shared_ptr 和 weak_ptr: 完 美 解 决 。 这 也 是 实现 线程 安全 的 
Observer 模式 的 必 备 扩 术 。 

本 章 源 自 2009 年 12 月 我 在 上 海 祝 成 科技 举办 的 C++ 技术 大 会 的 一 场 
演讲 《 当 析 构 函 数 遇 到 多 线程 》， 读 者 应 具有 C++ 多 线程 编程 经 验 ， 熟 
悉 互 斥 器 、 竞 态 条 件 等 概念 ， 了 解 智 能 指针 ， 知 道 Observer 设计 模式 。 


1.1 当 析 构 阅 数 遇 到 多 线程 


与 其 他 面向 对 象 语言 不 同 ，C++ 要 求 程序 员 自 己 管理 对 象 的 生命 
期 ， 这 在 多 线程 环境 下 显得 尤为 困难 。 当 一 个 对 象 能 被 多 个 线程 同时 
看 到 时 ， 那 么 对 象 的 销毁 时 机 融会 变 得 模糊 不 清 ， 可 能 出 现 多 种 竞 态 


条 件 (race condition) : 


:在 即将 析 构 一 个 对 象 时 ， 从 何 而 知 此 刻 是 否 有 别 的 线程 正在 执行 
该 对 象 的 成 员 函 数 ? 

如何 保证 在 执行 成 员 函 数 期 间 ， 对 象 不 会 在 另 一 个 线程 被 析 构 ? 

.在 调用 某 个 对 象 的 成 员 函 数 之 前 ， 如 何 得 知 这 个 对 象 还 活着 ? 它 
的 析 构 遂 数 会 不 会 碰巧 执行 到 一 半 ? 

解决 这 些 race condition 是 C++ 多 线程 编程 面临 的 基本 问题 。 本 文 试 
以 shared_ptr 一 劳 永 逸 地 解决 这 些 问题 ， 减 轻 C++ 多 线程 编程 的 精神 
负担 。 


1.1.1 ”线程 安全 的 定义 


依据 [JCP]， 一 个 线程 安全 的 class 应 当 满 足以 下 三 个 条 件 : 


:多 个 线程 同时 访问 时 ， 其 表现 出 正确 的 行为 。 
.无论 操作 系统 如 何 调度 这 些 线程 ， 无 论 这 些 线程 的 执行 顺序 如 何 
交织 (interleaving) 。 


调用 端 代码 无 须 额 外 的 同步 或 其 他 协调 动作 。 


依据 这 个 定义 ，C++ 标 准 库 里 的 大 多 数 class 都 不 是 线程 安全 的 ， 包 
括 std:: string、std::vector、std::map 等 ， 因 为 这 些 class 通 常 需要 在 外 部 加 
锁 才 能 供 多 个 线程 同时 访问 。 


1.1.2 MutexLock 与 MutexLockGuard 


为 了 便于 后 文 讨论 ， 先 约定 两 个 工具 类 。 我 相信 每 个 写 C++ 多 线程 
程序 的 人 都 实现 过 或 使 用 过 类 似 功能 的 类 ， 代 码 见 82.4。 

MnutexLock 封 装 临 界 区 (critical section) ， 这 是 一 个 简单 的 资源 
类 ， 用 RAII 手 法 “ce so 封装 互 斥 器 的 创建 与 销毁 。 临 界 区 在 Windows 上 
是 struct CRITICAL_SECTION， 是 可 重 入 的 ; 在 Linux 下 是 
pthread_mutex_t， 默 认 是 不 可 重 入 的 :。 MutexLock 一 般 是 别 的 class 的 数 
据 成 员 。 

MnutexLockGuard 封 装 临 界 区 的 进入 和 退出 ， 即 加 锁 和 解锁 。 
MutexLockGuard 一 般 是 个 栈 上 对 象 ， 它 的 作用 域 刚好 等 于 临界 区 域 。 

这 两 个 class 都 不 允许 拷贝 构造 和 赋值 ， 它 们 的 使 用 原则 见 82.1。 


1.1.3 ”一 个 线程 安全 的 Counter 示 例 


编写 单个 的 线程 安全 的 class 不 算 太 难 ， 只 需 用 同步 原 语 保护 其 内 
部 状态 。 例 如 下 面 这 个 简单 的 计数 器 类 Counter: 


1 // A thread-safe counter 

2 class Counter : boost::noncopyable 

3 攻 

4 // copy-ctor and assignment should be private by default for a class. 
5 public: 

6 Counter() : value_(0) {} 

7 int64_t value() const; 

8 int64_t getAndIncrease(); 

9 

10 private : 

11 int64_t value_; 

12 mutable MutexLock mutex_; 

135 

14 

15 int64_t Counter::value() const 

16 { 

17 MutexLockGuard lock(mutex_); // lock 的 析 构 会 晚 于 返回 对 象 的 构造 ， 
18 return value_; // 因此 有 效 地 保护 了 这 个 共享 数据 。 
19 } 

20 

21 int64_t Counter::getAndIncrease() 

22 

23 MutexLockGuard lock(mutex_); 

24 int64_t ret = value_++; 

25 return ret ; 

ae” 让 


27 // In a real world, atomic operations are preferred. 
28  // 当然 在 实际 项 目 中 ， 这 个 class 用 原子 操作 更 合理 ， 这 里 用 锁 仅 仅 为 了 举例 。 


这 个 class 很 直 白 ， 一 看 就 明白 ， 也 容易 验证 它 是 线程 安全 的 。 每 

个 Counter 对 象 有 自己 的 mutex_， 因 此 不 同 对 象 之 间 不 构成 锁 争 用 
(lock contention) 。 即 两 个 线程 有 可 能 同时 执行 L24， 前 提 是 它们 访问 

的 不 是 同一 个 Counter 对 象 。 注 意 到 其 mutex_ 成 员 是 mutable 的 ， 意 味 着 
const 成 员 遂 数 如 Counter::value() 也 能 直接 使 用 non-const 的 mutex_。 思 
考 : 如 果 mutex_ 是 static， 是 否 影响 正确 性 和 或 性 能 ? 

尽管 这 个 Counter 本 身 毫 无 疑问 是 线程 安全 的 ， 但 如 果 Counter 是 动 
态 创建 的 并 通过 指针 来 访问 ， 前 面 提 到 的 对 象 销毁 的 race condition 仍 然 
存在 。 


1.2 “对象 的 创建 很 简单 


对 象 构造 要 做 到 绪 程 安全 ， 唯 一 的 要 求 是 在 构造 期 间 不 要 泄露 this 
指针 ， 即 


' 不 要 在 构造 函数 中 注册 任何 回调 ; 
也 不 要 在 构造 遂 数 中 把 this 传 给 跨 线程 的 对 象 ; 
-即便 在 构造 函数 的 最 后 一 行 也 不 行 。 


之 所 以 这 样 规定 ， 是 因为 在 构造 阔 数 执行 期 间 对 象 还 没有 完成 初 
始 化 ， 如 果 this 被 泄露 (escape) 给 了 其 他 对 象 (其 自身 创建 的 子 对 象 
除外 ) ， 那 么 别 的 线程 有 可 能 访问 这 个 半成品 对 象 ， 这 会 造成 难以 预 
料 的 后 果 。 


// 不 要 这 么 做 (Don't do this.) 
class Foo : public Observer // 0bserver 的 定义 见 第 16 页 


public: 
Foo(Observable* s) 
{ 
s->register_(this); ”// 错误 ， 非 线程 安全 
+ 


virtual void update(); 


}; 


对 象 构造 的 正确 方法 : 


// 要 这 么 做 (Do this.) 
class Foo : public Observer 


public: 
Foo(); 
virtual void update(); 


// 另外 定义 一 个 函数 ， 在 构造 之 后 执行 回调 函数 的 注册 工作 
void observe(Observable* s) 
{ 
s->register_(this); 
} 
}; 


Foo*x pFoo = new Foo; 
Observable* s = getSubject(); | 
pFoo->observe(s); // 二 段 式 构造 ， 或 者 直接 写 s->register_(pFoo); 


这 也 说 明 ， 二 段 式 构造 即 构造 函数 +initialize() 一 一 有 时 会 是 好 
办 法 ， 这 虽然 不 符合 C++ 教条 ， 但 是 多 线程 下 别 无 选择 。 另 外 ， 既 然 允 
许 二 段 式 构造 ， 那 么 构造 水 数 不 必 主 动 抛 异常 ， 调 用 方 靠 initialize() 的 
返回 值 来 判断 对 象 是 否 构造 成 功 ， 这 能 简化 错误 处 理 。 

即使 构造 水 数 的 最 后 一 行 也 不 要 泄露 this， 因 为 Foo 有 可 能 是 个 基 
类 ， 基 类 先 于 派生 类 构造 ， 执 行 完 Foo::Foo0 的 最 后 一 行 代 码 还 会 继续 
执行 派生 类 的 构造 水 数 ， 这 时 most-derived class 的 对 象 还 处 于 构造 中 ， 
仍然 不 安全 。 

相对 来 说 ， 对 象 的 构造 做 到 线程 安全 还 是 比较 容易 的 ， 毕 竟 曝 光 
少 ， 回 头 率 为 零 。 而 析 构 的 线程 安全 就 不 那么 简单 ， 这 也 是 本 章 关注 


ANSYAEW 


对 象 析 构 ， 这 在 单线 程 里 不 构成 问题 ， 最 多 需要 注意 避免 空 悬 指 
针 和 野 指针 :。 而 在 多 线程 程序 中 ， 人 存在 了 太 多 的 竞 态 条 件 。 对 一 般 成 
员 阔 数 而 言 ， 做 到 线程 安全 的 办 法 是 让 它们 顺 次 执行 ， 而 不 要 并 发 执 
行 ( 关 键 是 不 要 同时 读 写 共享 状态 ) ， 也 就 是 让 每 个 成 员 函 数 的 临界 
区 不 重要 。 这 是 显而易见 的 ， 不 过 有 一 个 隐 含 条 件 或 许 不 是 每 个 人 都 
能 立刻 想到 : 成 员 函 数 用 来 保护 临界 区 的 互 斥 器 本 身 必 须 是 有 效 的 。 
而 析 构 函数 破坏 了 这 一 假设 ， 它 会 把 mutex 成 员 变 量 销毁 挤 。 翡 剧 啊 ! 


1.3.1 mutex 不 是 办 法 


mnutex 只 能 保证 函数 一 个 接 一 个 地 执行 ， 考 虑 下 面 的 代码 ， 它 试图 
用 互 斥 锁 来 保护 析 构 函数 : (注意 代码 中 的 (1) 和 (2) 两 处 标记 。) 


Foo: :~Foo() void Foo: :update() 


MutexLockGuard lock(mutex_); // (2) 
// make use of internal state 


} 


MutexLockGuard lock(mutex_); 
// free internal state (1) 
} 


此 时 ， 有 A、B 两 个 线程 都 能 看 到 Foo 对 象 x， 线 程 A 即 将 销毁 x， 而 线程 
B 正 准备 调用 x->update()。 


extern Foox x; // visible by all threads 


// thread A // thread B 

delete x; EP CR 汪 

x = NULL; // helpless x->update(); 
} 


尽管 线程 A 在 销毁 对 象 之 后 把 指针 置 为 了 NULL， 尽 管线 程 B 在 调用 x 的 
成 员 函 数 之 前 检查 了 指针 x 的 值 ， 但 还 是 无 法 避免 一 种 race condition: 


1. 线程 A 执 行 到 了 析 构 函数 的 (上 处， 已 经 持 有 了 互 斥 锁 ， 即 将 继 
卖 往 下 执行 。 
2. 线程 B 通 过 了 if (x) 检 测 ， 阻 塞 在 (2) 处 。 


\ 


接 下 来 会 发 生 什么 ， 只 有 天 晓得 。 因 为 析 构 水 数 会 把 mutex_ 销 
毁 ， 那 么 (2) 处 有 可 能 永远 阻塞 下 去 ， 有 可 能 进入 “ 临 春 区 ”， 然 后 core 
dump， 或 者 发 生 其 他 更 糟糕 的 情况 。 

这 个 例子 至 少 说 明 delete 对 象 之 后 把 指针 置 为 NULL 根 本 没 用 ， 如 
果 一 个 程序 要 靠 这 个 来 防止 二 次 释放 ， 说 明代 码 逻 辑 出 了 问题 。 


1.3.2 ”作为 数据 成 员 的 mutex 不 能 保护 析 构 


前 面 的 例子 说 明 ， 作 为 dlass 数 据 成 员 的 MutexLock 只 能 用 于 同步 本 
class 的 其 他 数据 成 员 的 读 和 写 ， 它 不 能 保护 安全 地 析 构 。 因 为 
MutexLock 成 员 的 生命 期 最 多 与 对 象 一 样 长 ， 而 析 构 动作 可 说 是 发 生 在 
对 象 身 故 之 后 (或 者 身亡 之 时 ) 。 另 外 ， 对 于 基 类 对 象 ， 那 么 调用 到 
基 类 析 构 函数 的 时 候 ， 派 生 类 对 象 的 那 部 分 已 经 析 构 了 ， 那 么 基 类 对 
象 拥 有 的 MutexLock 不 能 保护 整个 析 构 过 程 。 再 说 ， 析 构 过 程 本 来 也 不 
需要 保护 ， 因 为 只 有 别 的 线程 都 访问 不 到 这 个 对 象 时 ， 析 构 才 是 安全 
的 ， 否 则 会 有 8$1.1 谈 到 的 竞 态 条 件 发 生 。 


另外 如 果 要 同时 读 写 一 个 class 的 两 个 对 象 ， 有 潜在 的 死 锁 可 能 。 
比方 说 有 swapO 这 个 函数 : 


void swap(Counter& a，Counter& b) 
‘ 
MutexLockGuard aLock(a.mutex_); // potential dead lock 
MutexLockGuard bLock(b.mutex_); 
int64_t value = a.value_; 
a.value_ = b.value_; 
b.value_ = value; 


} 
如 果 线 程 A 执 行 swap(a, b); 而 同时 线程 B 执 行 swap(b, a);， 就 有 可 能 
死 锁 。operator=0) 也 是 类 似 的 道理 。 


Counter& Counter::operator=(const Counter& rhs) 


if (this == &rhs) 
return xthis: 


MutexLockGuard myLock(mutex_) ; // potential dead lock 
MutexLockGuard itsLock(Crhs .mutex_); 

value_ = rhs.value_; // 改 成 value_ = rhs.value() 会 死 锁 
return xthis; 


一 个 六 数 如 果 要 锁 住 相同 类 型 的 多 个 对 象 ， 为 了 保证 始终 按 相 同 
的 顺序 加 锁 ， 我 们 可 以 比较 mutex 对 象 的 地 址 ， 始 终 先 加 锁 地 址 较 小 的 


mutexo 


1.4 ”线程 安全 的 Observer 有 多 难 


一 个 动态 创建 的 对 象 是 否 还 活着 ， 光 看 指针 是 看 不 出 来 的 (引用 
也 一 样 看 不 出 来 ) 。 指 针 就 是 指向 了 一 块 内 存 ， 这 块 内 存 上 的 对 象 如 
果 已 经 销毁 ， 那 么 就 根本 不 能 访问 "* ***” (就 像 free(3) 之 后 的 地 址 不 能 
访问 一 样 ) ， 既 然 不 能 访问 又 如 何 知道 对 象 的 状态 呢 ? 换 句 话说 ， 判 
断 一 个 指针 是 不 是 合法 指针 没有 高 效 的 办 法 ， 这 是 C/C++ 指 针 间 题 的 根 


源 :。 (万 一 原址 又 创建 了 一 个 新 的 对 象 呢 ? 再 万 一 这 个 新 的 对 象 的 类 
J 异 于 老 的 对 象 呢 ? ) 

在 面向 对 象 程序 设计 中 ， 对 象 的 关系 主要 有 三 种 : composition、 
aggregation、association。composition (组 合 .复合 ) 关系 在 多 线程 里 
不 会 遇 到 什么 麻烦 ， 因 为 对 象 x 的 生命 期 由 其 唯一 的 拥有 者 owner 控 
制 ，owner 析 构 的 时 候 会 把 x 也 析 构 掉 。 从 形式 上 看 ，x 是 owner 的 直接 
数据 成 员 ， 或 者 scoped_ptr 成 员 ， 抑 或 owner 持 有 的 容器 的 元 素 。 

后 两 种 关系 在 C++ 里 比较 难 办 ， 处 理 不 好 就 会 造成 内 存 泄漏 或 重复 
释放 。association (关联 联系 ) 是 一 种 很 宽泛 的 关系 ， 它 表示 一 个 对 
象 a 用 到 了 另 一 个 对 象 b， 调 用 了 后 者 的 成 员 函 数 。 从 代码 形式 上 看 ，a 
持 有 b 的 指针 (或 引用 ) ， 但 是 b 的 生命 期 不 由 a 单独 控制 。aggregation 

(聚合 ) 关系 从 形式 上 看 与 association 相 同 ， 除 了 a 和 b 有 逻辑 上 的 整体 
与 部 分 关系 。 如 果 b 是 动态 创建 的 并 在 整个 程序 结束 前 有 可 能 被 释放 ， 
那么 就 会 出 现 81.1 谈 到 的 竞 态 条 件 。 

那么 似乎 一 个 简单 的 解决 办 法 是 : 只 创建 不 销毁 。 程 序 使 用 一 个 
对 象 池 来 暂 存 用 过 的 对 象 ， 下 次 申请 新 对 象 时 ， 如 果 对 象 池 里 有 人 存 
货 ， 就 重复 利用 现 有 的 对 象 ， 否 则 就 新 建 一 个 。 对 象 用 完了 ， 不 是 直 
接 释 放 掉 ， 而 是 放 回 闻 子 里 。 这 个 办 法 当然 有 其 自身 的 很 多 缺点 ， 但 
至 少 能 避免 访问 失效 对 象 的 情况 发 生 。 

这 种 山寨 办 法 的 问题 有 : 


.对 象 池 的 线程 安全 ， 如 何 安全 地 、 完 整地 把 对 象 放 回 池 子 里 ， 防 
止 出 现 “ 部 分 放 回 ”的 竞 态 ? 线程 A 认 为 对 象 x 已 经 放 回 了 ， 线 程 B 认 为 
对 象 x 还 活着 。) 

.全 局 共享 数据 引发 的 lock contention， 这 个 集中 化 的 对 象 池 会 不 会 
把 多 线程 并 发 的 操作 串 行 化 ? 

如果 共享 对 象 的 类 型 不 止 一 种 ， 那 么 是 重复 实现 对 象 池 还 是 使 用 
类 模板 ? 

.会 不 会 造成 内 存 泄 漏 与 分 片 ? 因为 对 象 闻 占 用 的 内 存 只 增 不 减 ， 
而 且 多 个 对 象 池 不 能 共享 内 存 ( 想 想 为 何 ) 。 


回 到 正题 上 来 ， 如 果 对 铺 x 注 册 了 任何 非 静 仿 成 员 了 水 数 回调 ， 那 么 
必然 在 某 处 持 有 了 指向 x 的 指针 ， 这 就 暴露 在 了 race condition 之 下 。 

一 个 典型 的 场景 是 Observer 模 式 (代码 见 
recipes/thread/test/Observer.cc ) 。 


1 Class Observer // : boost::noncopyable 
2 怕 

3 public: 

4 virtual ~Observer(); 

5 virtual void update() = 0; 

6 3 

了 

8 

9 class Observable // : boost: :noncopyable 
10 { 

11 public: 

12 void register_(Observer* Xx); 

13 void unregister(Observer* X); 

14 

15 void notifyObservers() { 

16 for (Observerx x : observers_) { // 这 行 是 C++11 
17 x->update(); // (3) 

18 } 

19 } 

20 private: 

21 std: :vector<Observer*> observers_; 
2 济 


当 Observable 通 知 每 一 个 Observer 时 (L17)， 它 从 何 得 知 Observer 对 
象 x 还 活着 ? 要 不 试 试 在 Observer 的 析 构 函数 里 调用 unregister() 来 解 注 
册 ? 恐 难 奏效 。 


23 class Observer 
24 荆 


25 // 同 前 

26 void observe(Observable* s) { 
27 s->register_(this); 

28 subject_ = s; 

29 } 

30 

31 virtual ~Observer() { 

32 subject_->unregister(this); 
33 } 

34 

35 Observable* subject._; 

36 于 


我 们 试 着 让 Observer 的 析 构 函数 去 调用 unregister(this)， 这 里 有 两 个 
race conditions。 其 一 : L32 如 何 得 知 subject_ 还 活着 ? 其 二 : 就 算 
subject 指向 某 个 永久 存在 的 对 象 ， 那 么 还 是 险象 环 生 : 


1. 线程 A 执行 到 L32 之 前 ， 还 没有 来 得 及 unregister 本 对 象 。 
2. 线程 B 执 行 到 L17，x 正 好 指向 是 L32 正 在 析 构 的 对 象 。 


这 时 悲剧 又 发 生 了 ， 既 然 x 所 指 的 Observer 对 象 正 在 析 构 ， 调 用 它 
的 任何 非 静 态 成 员 函 数 都 是 不 安全 的 ， 何 况 是 虚 函 数 :。 更 糟糕 的 是 ， 
Observer 是 个 基 类 ， 执 行 到 L32 时 ， 派 生 类 对 象 已 经 析 构 掉 了 ， 这 时 候 
整个 对 象 处 于 将 死 未 死 的 状态 ，core dump 和 丽 怕 是 最 幸运 的 结果 。 

这 些 race condition 似 乎 可 以 通过 加 锁 来 解决 ， 但 在 哪儿 加 锁 ， 谁 持 
有 这 些 互 斥 锁 ， 又 似乎 不 是 那么 显而易见 的 。 要 是 有 什么 活着 的 对 象 
能 帮 帮 有 我 们 就 好 了 ， 它 提供 一 个 isAlive0 之 类 的 程序 函数 ， 告 诉 我 们 那 
个 对 象 还 在 不 在 。 可 惜 指针 和 引用 都 不 是 对 象 ， 它 们 是 内 建 类 型 。 


1.5 ”原始 指针 有 何不 妥 


指向 对 象 的 原始 指针 (raw pointer) 是 坏 的 ， 尤 其 当 暴 露 给 别 的 线 
程 时 。Observable 应 当 保 存 的 不 是 原始 的 Observer*， 而 是 别 的 什么 东 
西 ， 能 分 辨 Observer 对 象 是 否 存 活 。 类 似 地 ， 如 果 Observer 要 在 析 构 浮 
数 里 解 注 册 〈 这 虽然 不 能 解决 前 面 提 到 的 race condition， 但 是 在 析 构 上 函 
数 里 打扫 战场 还 是 应 该 的 ) ， 那 么 subject 的 类 型 也 不 能 是 原始 的 
Observable*。 

有 经 验 的 C++ 程序 员 或 许 会 想到 用 智能 指针 。 没 错 ， 这 是 正道 ， 但 
也 没 那么 简单 ， 有 些 关 窍 需 要 注意 。 这 两 处 直接 使 用 shared_ptr 是 不 行 
的 ， 会 形成 循环 引用 ， 直 接 造 成 资源 泄漏 。 别 着 急 ， 后 文 会 一 一 讲 


到 。 
空 悬 指针 


有 两 个 指针 p1 和 p2， 指 向 堆 上 的 同一 个 对 象 Object，p1 和 p2 位 于 不 
同 的 线程 中 (图 1-1 的 左 图 ) 。 假 设 线程 A 通过 p1 指 针 将 对 象 销毁 了 
(尽管 把 p1 置 为 了 NULL) ， 那 p2 就 成 了 空 悬 指针 (图 1-1 的 右 图 ) 。 
这 是 一 种 典型 的 C/C++ 内 存 错误 。 
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图 1-1 
要 想 安 全 地 销毁 对 象 ， 最 好 在 别人 (线程 ) 都 看 不 到 的 情况 下 ， 
偷偷 地 做 。 (这 正 是 垃圾 回收 的 原理 ， 所 有 人 都 用 不 到 的 东西 一 定 是 
垃圾 。) 
一 个 “解决 办 法 ” 


一 个 解决 空 悬 指 针 的 办 法 是 ， 引 入 一 层 间 接 性 ， 让 p1 和 p2 所 指 的 
对 象 永 久 有 效 。 比 如 图 1-2 中 的 proxy 对 象 ， 这 个 对 象 ， 持 有 一 个 指向 


Object 的 指针 。 〈 从 C 语 言 的 角度 ，p1 和 p2 都 是 二 级 指针 。 ) 


图 1-2 
当 销 毁 Object 之 后 ，proxy 对 象 继续 存在 ， 其 值 变 为 0 ( 见 图 1-3) 。 
而 p2 也 没有 变 成 空 悬 指针 ， 它 可 以 通过 查看 proxy 的 内 容 来 判断 Object 
是 否 还 活着 。 


pl=0 
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图 1-3 
要 线程 安全 地 释放 Object 也 不 是 那么 容易 ，race condition 依 旧 存 
在 。 比 如 p2 看 第 一 眼 的 时 候 proxy 不 是 零 ， 正 准备 去 调用 Object 的 成 员 
孙 数 ， 期 间 对 象 已 经 被 p1 给 销毁 了 。 
问题 在 于 ， 何 时 释放 proxy 指 针 呢 ? 


一 个 更 好 的 解决 办 法 


为 了 安全 地 释放 proxy， 我 们 可 以 引入 引用 计数 (reference 
counting) ， 再 把 p1 和 p2 都 从 指针 变 成 对 象 p1 和 sp2。Pproxy 现 在 有 两 个 
成 员 ， 指 针 和 计数 器 。 


1. 一 开始 ， 有 两 个 引用 ， 计数 值 为 2 ( 见 图 1-4) Oo 
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2. sp1 析 构 了 ， 引 用 计数 的 值 减 为 1 ( 见 图 1-5) 。 


图 1-5 


3. sp2 也 析 构 了 ，5| 用 计数 降 为 0， 可 以 安全 地 销毁 proxy 和 Object 
了 〈 见 图 1-6) 。 
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图 1-6 
慢 着 ! 这 不 正 是 引用 计数 型 智能 指针 吗 ? 


一 个 万 能 的 解决 方案 


引入 另外 一 层 间 接 性 (another layer of indirection) “， 用 对 象 来 管 
理 共享 资源 《如果 把 Object 看 作 资 源 的 话 ) ， 亦 即 handle/body 惯 用 技法 
(idiom) 。 当 然 ， 编 写 线程 安全 、 高 效 的 引用 计数 handle 的 难度 非 


凡 ， 作 为 一 名 谦卑 的 程序 员 :， 用 现成 的 库 就 行 。 万 乎 ，C++ 的 TR1 标 
准 库 里 提供 了 一 对 “ 神 兵 利器 *”， 可 助 我 们 完美 解决 这 个 头疼 的 问题 。 


1.6 ”神器 shared_ptr/weak_ptr 


shared_ptr 是 引用 计数 型 智能 指针 ， 在 Boost 和 std::tr1 里 均 提供 ， 也 
被 纳入 C++11 标 准 库 ， 现 代 主 流 的 C++ 编译 器 都 能 很 好 地 支持 。 
shared_ptr<T> 是 一 个 类 模板 (class template) ， 它 只 有 一 个 类 型 参数 ， 
使 用 起 来 很 方便 。 引 用 计数 是 自动 化 资源 管理 的 常用 手法 ， 当 引用 计 
数 降 为 0 时 ， 对 象 《资源 ) 即 被 销毁 。weak_ptr 也 是 一 个 引用 计数 型 智 
能 指针 ， 但 是 它 不 增加 对 象 的 引用 次 数 ， 即 弱 (weak) 引用 。 

shared_ptr 的 基本 用 法 和 语意 请 参考 手册 或 教程 ， 本 书 从 略 。 谈 几 
个 关键 点 。 


.shared_ptr 控 制 对 象 的 生命 期 。shared_ptr 是 强 引 用 (想象 成 用 铁丝 
绑 住 堆 上 的 对 象 ) ， 只 要 有 一 个 指向 x 对 象 的 shared_ptr 存 在 ， 该 x 对 象 
就 不 会 析 构 。 当 指向 对 象 x 的 最 后 一 个 shared_ptr 析 构 或 reset() 的 时 候 ，x 
保证 会 被 销毁 。 

-weak_ptr 不 控制 对 象 的 生命 期 ， 但 是 它 知道 对 象 是 否 还 活着 ( 想 
象 成 用 棉线 轻 轻 挫 住 堆 上 的 对 象 ，。 如 果 对 象 还 活着 ， 那 么 它 可 以 提 
升 (promote) 为 有 效 的 shared_ptr; 如 果 对 象 已 经 死 了 ， 提 升 会 失败 ， 
返回 一 个 空 的 shared_ptr。“ 提 升 Alock()* 行 为 是 线程 安全 的 。 

'shared_ptrweak_ptr 的 “计数 ”在 主流 平台 上 是 原子 操作 ， 没 有 用 
锁 ， 性 能 不 俗 。 

shared_ptr/weak_ptr 的 线程 安全 级 别 与 std::string 和 STL 容 器 一 样 ， 
后 面 还 会 讲 。 


部 宕 在 《垃圾 收集 机 制 批判 》: 中 一 针 见 血 地 点 出 智能 指针 的 优 
势 :“C++ 利 用 智能 指针 达成 的 效果 是 : 一 旦 某 对 象 不 再 被 引用 ， 系 统 
刻不容缓 ， 立 刻 回收 内 存 。 这 通常 发 生 在 关键 任务 完成 后 的 清理 


(clean up) 时 期 ， 不 会 影响 天 键 任务 的 实时 性 ， 同 时 ， 内 存 里 所 有 的 
对 象 都 是 有 用 的 ， 绝 对 没有 垃圾 空 占 内 存 。” 


1.7 插曲: 系统 地 避免 各 种 指针 错误 


我 同意 孟 岩 说 的 “大 部 分 用 C 写 的 上 规模 的 软件 都 存在 一 些 内 存 方 
面 的 错误 ， 需 要 花费 大 量 的 精力 和 时 间 把 产品 稳定 下 来 。 ”举例 来 说 ， 
就 像 Nginx 这 样 成 熟 且 广 泛 使 用 的 C 语 言 产 品 都 会 不 时 暴露 出 低级 的 内 
存 错误 4。 

内 存 方面 的 问题 在 C++ 里 很 容易 解决 ， 我 第 一 次 也 是 最 后 一 次 见 到 
别人 的 代码 里 有 内 存 泄漏 是 在 2004 年 实习 那 会 儿 ， 我 自己 写 的 C++ 程序 
从 来 没有 出 现 过 内 存 方面 的 问题 。 

C++ 里 可 能 出 现 的 内 存 问 题 大 致 有 这 么 几 个 方面 : 


.缓冲 区 溢出 (buffer overrun) 。 

， 裕 悬 指针 二 野 指 针 。 

.重复 释放 (double delete) 。 

内 存 泄漏 (memory leak) 。 

.不 配对 的 new[]/delete。 

.内 存 人 碎片 (memory fragmentation) 。 
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正确 使 用 智能 指针 能 很 轻易 地 解决 前 面 5 个 问题 ， 解 决 第 6 个 问题 
需要 别 的 思路 ， 我 会 在 89.2.1 和 8§A.1.8 探 讨 。 


1. 缓冲 区 溢出 : 用 std::vector<char>/std::string 或 自己 编写 Buffer 
class 来 管理 缓冲 区 ， 自 动 记 住 用 缓冲 区 的 长 度 ， 并 通过 成 员 函 数 而 不 
是 裸 指针 来 修改 缓冲 区 。 

2. 空 悬 指针 和 野 指 针 : 用 shared_ptr/weak_ptr， 这 正 是 本 章 的 主 
题 。 


3. 重复 释放 : 用 scoped_ptr， 只 在 对 象 析 构 的 时 候 释放 一 次 。 


4. 内 存 泄 漏 : 用 scoped_ptr， 对 象 析 构 的 时 候 自 动 释放 内 存 。 
5。 不 配对 的 new[]/delete: 把 new[] 统 统 替 换 为 


std::vector/scoped_arrayo 


正确 使 用 上 面 提 到 的 这 几 种 智能 指针 并 不 难 ， 其 难度 大 概 比 学 习 
使 用 std:: vectorstd::list 这 些 标准 库 组 件 还 要 小 ， 与 std::string 差 不 多 ， 只 
要 人 花 一 周 的 时 间 去 适应 它 ， 就 能 信 手 拓 来 。 我 认为 ， 在 现代 的 C++ 程序 
中 一 般 不 会 出 现 delete 语 句 ， 资 源 (包括 复杂 对 象 本 身 ) 都 是 通过 对 象 

(智能 指针 或 容器 ) 来 管理 的 ， 不 需要 程序 员 还 为 此 操心 。 

在 这 几 种 错误 里 边 ， 内 存 泄 漏 相对 危害 性 较 小 ， 因 为 它 只 是 借 了 
东西 不 归还 ， 程 序 功 能 在 一 段 时 间 内 还 算 正 常 。 其 他 如 缓冲 区 溢出 或 
重复 释放 等 致命 错误 可 能 会 造成 安全 性 (security 和 data safety) 方面 的 
严重 后 果 。 

需要 注意 一 点 : scoped_ptr/shared_ptr/weak_ptr 都 是 值 语意 ， 要 么 是 
栈 上 对 象 ， 或 是 其 他 对 象 的 直接 数据 成 员 ， 或 是 标准 库容 器 里 的 元 
素 。 几 乎 不 会 有 下 面 这 种 用 法 : 
shared_ptr<Foo>* pFoo = new shared_ptr<Foo>(new Foo); // WRONG semantic 

还 要 注意 ， 如 果 这 几 种 智能 指针 是 对 象 x 的 数据 成 员 ， 而 它 的 模板 
参数 TT 是 个 incomplete 类 型 ， 那 么 x 的 析 构 遂 数 不 能 是 默认 的 或 内 联 的 ， 
必须 在 .cpp 文 件 里 边 显 式 定义 ， 否 则 会 有 编译 错 或 运行 错 (原因 见 
810.3.2) 。 


1.8 ”应 用 到 Observer 上 


既然 通过 weak_ptr 能 探查 对 象 的 生死 ， 那 么 Observer 模式 的 竞 态 条 
件 就 很 容易 解决 ， 只 要 让 Observable 保 存 weak_ptr<Observer> 即 可 : 
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recipes/thread/test/Observer safe.cc 
class Observable // not 100% thread safe! 
{ 
public: 
void register_(weak_ptr<Observer> x); // 参数 类 型 可 用 const weak_ptr<Observer>& 
// void unregister(weak_ptr<Observer> x); // 不 需要 它 
void notifyObservers(); 


private : 

mutable MutexLock mutex_; 

std: :vector<weak_ptr<Observer> > observers_; 

typedef std: :vector<weak_ptr<Observer> >::iterator Iterator; 


}; 


void Observable: :notifyObservers() 
{ 
MutexLockGuard lock(mutex_); 
Iterator it = observers_.begin(); // Iterator 的 定义 见 第 49 行 


while (it != observers_.end()) 

{ 
shared_ptr<Observer> obj(it->lock()); // 尝试 提升 ， 这 一 步 是 线程 安全 的 
if (obj) 


// 提升 成 功 ， 现 在 引用 计数 值 至 少 为 2 〈 想 想 为 什么 ?) 
obj->update(); // 没有 竞 态 条 件 ， 因 为 obj 在 栈 上 ， 对 象 不 可 能 在 本 作用 域内 销毁 
二 七 

} 


else 


{ 
// 对 象 已 经 销毁 ， 从 容器 中 拿 掉 weak_ptr 
it = observers_.erase(it); 
有; 
} 
} 


recipes/thread/test/Observer safe.cc 


就 这 么 简单 。 前 文 代码 (3) 处 (此 处 LI17) 的 竞 态 条 件 已 经 弥补 


了 。 思 考 : 如 果 把 L48 改 为 vector<shared_ptr<Observer> 之 observers_;， 
会 有 什么 后 果 ? 


解决 了 吗 


把 Observer* 蔡 换 为 weak_ptr<Observer> 部 分 解决 了 Observer 模式 的 


线程 安全 ， 但 还 有 以 下 几 个 疑点 。 这 些 问题 留 到 本 章 81.14 中 去 探讨 ， 
每 个 都 是 能 解决 的 。 


侵入 性 ”强制 要 求 Observer 必 须 以 shared_ptr 来 管理 。 


不 是 完全 线程 安全 ”Observer 的 析 构 函数 会 调用 subject_- 
>unregister(this)， 万 一 subject_ 已 经 不 复 存 在 了 呢 ? 为 了 解决 它 ， 又 要 
求 Observable 本 身 是 用 Shared_ptr 管 理 的 ， 并 且 subject 多 半 是 个 
weak_ptr<Observable>。 

锁 争 用 (lock contention) ” 即 Observable 的 三 个 成 员 函 数 都 用 了 
互 斥 器 来 同步 ， 这 会 造成 register_() 和 unregister() 等 待 
notifyObservers()， 而 后 者 的 执行 时 间 是 无 上 限 的 ， 因 为 它 同步 回调 了 
用 户 提 供 的 update0 国 数 。 我 们 希望 register_0 和 unregister0O) 的 执行 时 间 
不 会 超过 某 个 固定 的 上 限 ， 以 免 殊 及 无 率 群 众 。 

死 锁 ”万 一 L62 的 update(0) 虚 函数 中 调用 了 (un)register 呢 ? 如 果 
mutex_ 是 不 可 重 入 的 ， 那 么 会 死 锁 ， 如 果 mutex_ 是 可 重 入 的 ， 程 序 会 
面临 迭代 器 失效 (core dump 是 最 好 的 结果 ) ， 因 为 vector observers 在 
遍历 期 间 被 意外 地 修改 了 。 这 个 问题 乍 看 起 来 似乎 没有 解决 办 法 ， 除 
非 在 文档 里 做 要 求 。 (一 种 办 法 是 : 用 可 重 入 的 mutex_， 把 容器 换 为 
std::list， 并 把 ++it 往 前 挪 一 行 。) 

我 个 人 倾向 于 使 用 不 可 重 入 的 mutex， 例 如 Pthreads 默 认 提 供 的 那 
个 ， 因 为 “要 求 mutex 可 重 入 ”本 身 往往 意味 着 设计 上 出 了 问题 

(82.1.1) 。Java 的 intrinsic lock 是 可 重 入 的 ， 因 为 要 允许 synchronized 方 
法 相互 调用 (派生 类 调用 基 类 的 同名 synchronized 方 法 ) ， 我 觉得 这 也 
是 无 宗之 举 。 


1.9 ”再 论 shared_ptr 的 线程 安全 


虽然 我 们 借 shared_ptr 来 实现 线程 安全 的 对 象 释放 ， 但 是 shared_ptr 
本 身 不 是 100% 线 程 安全 的 。 它 的 引用 计数 本 身 是 安全 且 无 锁 的 ， 但 对 
象 的 读 写 则 不 是 ， 因 为 shared_ptr 有 两 个 数据 成 员 ， 读 写 操作 不 能 原子 
化 。 根 据 文档 上，shared_ptr 的 线程 安全 级 别 和 内 建 类 型 、 标 准 库容 器 、 
std::string 一 样 ， 即 : 


.一 个 shared_ptr 对 象 实体 可 被 多 个 线程 同时 读 取 ; 


.两 个 shared_ptr 对 象 实 体 可 以 被 两 个 线程 同时 写 入 ,“ 析 构 ” 算 写 操 
作 ; 
:如 果 要 从 多 个 线程 读 写 同一 个 shared_ptr 对 象 ， 那 么 需要 加 锁 。 


请 注意 ， 以 上 是 shared_ptr 对 象 本 身 的 线程 安全 级 别 ， 不 是 它 管理 
的 对 象 的 线程 安全 级 别 。 

要 在 多 个 线程 中 同时 访问 同一 个 shared_ptr， 正 确 的 做 法 是 用 mnutex 
保护 : 


MutexLock mutex; // No need for ReaderWriterLock 
shared_ptr<Foo> globalPtr; 


// 我 们 的 任务 是 把 globalPtr 安全 地 传 给 doit() 
void doit(const shared_ptr<Foo>& pFoo) ; 

gobalPtr 能 被 多 个 线程 看 到 ， 那 么 它 的 读 写 需要 加 锁 。 注 意 我 们 不 
必用 读 写 锁 ， 而 只 用 最 简单 的 互 斥 锁 ， 这 是 为 了 性 能 考虑 。 因 为 临界 
区 非常 小 ， 用 互 斥 锁 也 不 会 阻塞 并 发 读 。 

为 了 拷贝 globalPtr， 需 要 在 读 取 它 的 时 候 加 锁 ， 即 : 


void read() 


{ 


shared_ptr<Foo> localPtr; 


{ 
MutexLockGuard lock(mutex); 


localPtr = globalPtr; // read globalPtr 
} 


// use localPtr since here， 读 写 localPtr 也 无 须 加 锁 
doit(1ocalPtr); 

} 
写 人 的 时 候 也 要 加 锁 : 

void write() 


shared_ptr<Foo> newPtr(new Foo); // 注意 ， 对 象 的 创建 在 临界 区 之 外 


MutexLockGuard lock(mutex); 
globalPtr = newPtr; // write to globalPtr 
] 


// use newPtr since here， 读 写 newPtr 无 须 加 锁 
doit (newPtr); 
} 
注意 到 上 面 的 read() 和 write() 在 临界 区 之 外 都 没有 再 访问 globalPtr， 
而 是 用 了 一 个 指向 同一 Foo 对 象 的 栈 上 shared_ptr local copy。 下 面 会 谈 
到 ， 只 要 有 这 样 的 local copy 存 在 ，shared_ptr 作 为 水 数 参 数 传 递 时 不 必 
复制 ， 用 reference to const 作 为 参数 类 型 即 可 。 另 外 注意 到 上 面 的 new 
Foo 是 在 临界 区 之 外 执行 的 ， 这 种 写法 通常 比 在 临界 区 内 写 
lobalPtr.reset(new Foo) 要 好 ， 因 为 缩短 了 临界 区 长 度 。 如 果 要 销毁 对 
象 ， 我 们 固然 可 以 在 临界 区 内 执行 globalPtr.reset()， 但 是 这 样 往往 会 让 
对 象 析 构 发 生 在 临界 区 以 内 ， 增 加 了 临界 区 的 长 度 。 一 种 改进 办 法 是 
像 上 面 一 样 定义 一 个 localPtr， 用 它 在 临界 区 内 与 globalPtr 交 换 
(swap0) ， 这 样 能 保证 把 对 象 的 销毁 推迟 到 临界 区 之 外 。 练 习 : 在 
write() 了 图 数 中 ，globalPtr 三 newPtr; 这 一 句 有 可 能 会 在 临界 区 内 销毁 原来 
gobalPtr 指 向 的 Foo 对 象 ， 设 法 将 销毁 行为 移出 临界 区 。 


1.10 ”shared_ptr 技 术 与 陷阱 


意外 延长 对 象 的 生命 期 ”shared_ptr 是 强 引 用 〈“ 铁 丝 ? 绑 的 ) ， 只 
要 有 一 个 指向 x 对 象 的 shared_ptr 存 在 ， 该 对 象 就 不 会 析 构 。 而 
shared_ptr 又 是 允许 拷贝 构造 和 赋值 的 〈 否 则 引用 计数 就 无 意义 了 ) ， 
如 果 不 小 心 遗留 了 一 个 拷贝 ， 那 么 对 象 就 永世 长 存 了 。 例 如 前 面 提 到 
如 果 把 此 处 L48 observers_ 的 类 型 改 为 vector<shared_ ptr<Observer> >， 
那么 除非 手动 调用 unregister()， 否 则 Observer 对 象 永远 不 会 析 构 。 即 便 
它 的 析 构 遂 数 会 调用 unregister()， 但 是 不 去 unregister() 就 不 会 调用 
Observer 的 析 构 图 数 ， 这 变 成 了 鸡 与 蛋 的 问题 。 这 也 是 Java 内 存 泄 漏 的 
常见 原因 。 

另外 一 个 出 错 的 可 能 是 boost::bind， 因 为 boost::bind 会 把 实 参 拷贝 
一 份 ， 如 果 参 数 是 个 shared_ptr， 那 么 对 象 的 生命 期 就 不 会 短 于 
boost::function 对 象 : 


class Foo 


void doit(); 


shared_ptr<Foo> pFoo(new Foo); 
boost: :function<void()> func = boost::bind(&Foo: :doit, pFoo); // long life foo 


这 里 func 对 象 持 有 了 shared_ptr<Foo> 的 一 份 拷贝 ， 有 可 能 会 在 不 经 
意 间 延长 倒数 第 二 行 创建 的 Foo 对 象 的 生命 期 。 

国 数 参数 ”因为 要 修改 引用 计数 (而且 拷贝 的 时 候 通 常 要 加 
锁 ) ，shared_ptr 的 拷贝 开销 比 拷贝 原始 指针 要 高 ， 但 是 需要 拷贝 的 时 
候 并 不 多 。 多 数 情 况 下 它 可 以 以 const reference 方 式 传 递 ， 一 个 线程 只 
需要 在 最 外 层 遂 数 有 一 个 实体 对 象 ， 之 后 都 可 以 用 const reference 来 使 
用 这 个 shared_ptr。 例 如 有 几 个 函数 都 要 用 到 Foo 对 象 : 


void save(const shared_ptr<Foo>& pFoo); // pass by const reference 
void validateAccount(const Foo& foo) ; 


bool validate(const shared_ptr<Foo>& pFoo) // pass by const reference 


validateAccount(x*pFoo) ; 
HR ni 
} 


那么 在 通常 情况 下 ， 我 们 可 以 传 常 引 用 (pass by const 


reference) : 


void onMessage(const string& msg) 
{ 
shared_ptr<Foo> pFoo(new Foo(msg)); // 只 要 在 最 外 层 持 有 一 个 实体 ， 安 全 不 成 问题 
if (validate(pFoo)) { // 没有 拷贝 pFoo 
save(pFoo); // 没有 拷贝 pFoo 


遵照 这 个 规则 ， 基 本 上 不 会 遇 到 反复 拷贝 shared_ptr 导 致 的 性 能 问 
题 。 另 外 由 于 pFoo 是 栈 上 对 象 ， 不 可 能 被 别 的 线程 看 到 ， 那 么 读 取 始 
终 是 线程 安全 的 。 
析 构 动作 在 创建 时 被 捕获 ”这 是 一 个 非常 有 用 的 特性 ， 这 意味 
着 : 


. 虚 析 构 不 再 是 必需 的 。 

shared_ptr<void> 可 以 持 有 任何 对 象 ， 而 且 能 安全 地 释放 。 

2 ed _ptr 对 象 可 以 安全 地 跨越 模块 边界 ， 比 如 从 DLL 里 返回 ， 而 

造成 从 模块 A 分 配 的 内 存在 模块 B 里 被 释放 这 种 错误 。 

二进制 兼容 性 ， 即便 Foo 对 象 的 大 小 变 了 ， 那 么 旧 的 客户 代码 仍然 
可 以 使 用 新 的 动态 库 ， 而 无 须 重 新 编译 。 前 提 是 Foo 的 头 文件 中 不 出 现 
访问 对 象 的 成 员 的 inline 了 国 数 ， 并 且 Foo 对 象 的 由 动态 库 中 的 Factory 构 
造 ， 返 回 其 shared_ptr。 

. 析 构 动作 可 以 定制 。 


最 后 这 个 特性 的 实现 比较 巧妙 ， 因 为 shared_ptr<T> 只 有 一 个 模板 
参数 ， 而 “ 析 构 行为 ”可 以 是 浮 数 指针 、 仿 水 数 (functor) 或 者 其 他 什么 
东西 。 这 是 泛 型 编程 和 面向 对 象 编 程 的 一 次 完美 结合 。 有 兴趣 的 读者 
可 以 参考 Scott Meyers 的 文章 s。 这 个 技术 在 后 面 的 对 象 闻 中 还 会 
到 。 

析 构 所 在 的 线程 ”对 象 的 析 构 是 同步 的 ， 当 最 后 一 个 指向 x 的 
shared_ptr 离 开 其 作用 域 的 时 候 ，x 会 同时 在 同一 个 线程 析 构 。 这 个 线程 
不 一 定 是 对 象 诞生 的 线程 。 这 个 特性 是 把 双 刃 剑 : 如 果 对 象 的 析 构 比 
较 耗 时 ， 那 么 可 能 会 拖 慢 关键 线程 的 速度 (如 果 最 后 一 个 shared_ptr 引 
发 的 析 构 发 生 在 关键 线程 ) ; 同时 ， 我 们 可 以 用 一 个 单独 的 线程 来 专 
门 做 析 构 ， 通 过 一 个 BlockingQueue<shared_ptr<void> > 把 对 象 的 析 构 都 
转移 到 那个 专用 线程 ， 从 而 解放 关键 线程 。 

现成 的 RAII handle ”我 认为 RAIT (资源 获取 即 初始 化 ) 是 C++ 语 
言 区 别 于 其 他 所 有 编程 语言 的 最 重要 的 特性 ， 一 个 不 懂 RAII 的 C++ 程 序 
员 不 是 一 个 合格 的 C++ 程 序 员 。 初 学 C++ 的 教条 是 “new 和 delete 要 配 
对 ，new 了 之 后 要 记 着 delete”; 如 果 使 用 RAIIc' 知 ? ， 要 改 成 “每 一 个 
明确 的 资源 配置 动作 (例如 new) 都 应 该 在 单一 语句 中 执行 ， 并 在 该 语 
句 中 立刻 将 配置 获得 的 资源 交 给 handle 对 象 (如 shared_ptr) ， 程 序 中 
一 般 不 出 现 delete”。shared_ptr 是 管理 共享 资源 的 利器 ， 需 要 注意 避免 
循环 5 引用， 通常 的 做 法 是 owner 持 有 指向 child 的 shared_ptr，child 持 有 指 


向 owner 的 weak_ptro 


1.11 对象 池 


假设 有 Stock 类 ， 代 表 一 只 股票 的 价格 。 每 一 只 股票 有 一 个 唯一 的 
字符 串 标识 ， 比 如 Google 的 key 是 "NASDAQ:GOOG"，IBM 
是 "NYSE:IBM"。Stock 对 象 是 个 主动 对 象 ， 它 能 不 断 获取 新 价格 。 为 了 
节省 系统 资源 ， 同 一 个 程序 里 边 每 一 只 出 现 的 股票 只 有 一 个 Stock 对 
象 ， 如 果 多 处 用 到 同一 只 股票 ， 那 么 Stock 对 象 应 该 被 共享 。 如 果 某 一 


只 股票 没有 再 在 任何 地 方 用 到 ， 其 对 应 的 Stock 对 象 应 该 析 构 ， 以 释放 
资源 ， 这 隐 含 了 “引用 计数 ”。 

为 了 达到 上 述 要 求 ， 我 们 可 以 设计 一 个 对 象 闻 StockFactory3。 它 
的 接口 很 简单 ， 根 据 key 返 回 Stock 对 象 。 我 们 已 经 知道 ， 在 多 线程 程序 
中 ， 既 然 对 象 可 能 被 销毁 ， 那 么 返回 shared_ptr 是 合理 的 。 自 然 地 ， 我 
们 写 出 如 下 代码 〈 可 惜 是 错 的 ) 。 


// version 1: questionable code 
class StockFactory : boost::noncopyable 
{ 
public: 
shared_ptr<Stock> get(const string& key); 


private: 
mutable MutexLock mutex_; 
std: :map<string, shared_ptr<Stock> > stocks_; 


并 
get() 的 逻辑 很 简单 ， 如 果 在 stocks_ 里 找到 了 key， 就 返回 
stocks_[key]; 否则 新 建 一 个 Stock， 并 存 入 stocks_[key]。 
细心 的 读者 或 许 已 经 发 现 这 里 有 一 个 问题 ，Stock 对 象 永远 不 会 被 
销毁 ， 因 为 map 里 存 的 是 shared_ptr， 始 终 有 “铁丝 ? 绑 着 。 那 么 或 许 应 该 
仿照 前 面 Observable 那 样 存 一 个 weak_ptr? 比如 


// // version 2: 数据 成 员 修改 为 std: :map<string, weak_ptr<Stock> > stocks_; 
shared_ptr<Stock> StockFactory::get(const string& key) 
{ 
shared_ptr<Stock> pStock; 
MutexLockGuard lock(mutex_); 
weak_ptr<Stock>& wkStock = stocks_[key]; // 如 果 key 不 存在 ， 会 默认 构造 一 个 
pStock = wkStock.lock(); // 尝试 把 “棉线 ”提升 为 “铁丝 ” 
if (IpStock) { 
pStock.reset(new Stock(key)); 
wkStock = pStock; // 这 里 更 新 了 stocks_[key]， 注 意 wkStock 是 个 引用 
} 


return pStock; 


这 么 做 固然 Stock 对 象 是 销毁 了 ， 但 是 程序 却 出 现 了 轻微 的 内 存 泄 
漏 ， 为 什么 ? 


为 stocks_ 的 大 小 只 增 不 减 ，stocks_.size0) 是 曾经 存活 过 的 Stock 对 
象 的 总 数 ， 即 便 活 的 Stock 对 象 数目 降 为 0。 或 许 有 人 认为 这 不 算 泄 漏 ， 
因为 内 存 并 不 是 彻底 遗失 不 能 访问 了 ， 而 是 被 菏 个 标准 库容 器 占用 
了 。 我 认为 这 也 算 内 存 泄漏 ， 毕 竟 是 “战场 "没有 打扫 干净 。 

其 实 ， 考 虑 到 世界 上 的 股票 数目 是 有 限 的， 这 个 内 存 不 会 一 直 泄 
漏 下 去 ， 大 不 了 把 每 只 股票 的 对 象 都 创建 一 遍 ， 估 计 港 漏 的 内 存 也 只 
有 几 兆 字 节 。 如 果 这 是 一 个 其 他 类 型 的 对 象 也 ， 对 象 的 key 的 集合 不 是 
封闭 的 ， 内 存 就 会 一 直 泄 凋 下 去 。 

解决 的 办 法 是 ， 利 用 shared_ptr 的 定制 析 构 功能 。shared_ptr 的 构造 
图 数 可 以 有 一 个 额外 的 模板 类 型 参数 ， 传 入 一 个 阔 数 指针 或 仿 阔 数 d， 
在 析 构 对 象 时 执行 d(ptr)， 其 中 ptr 是 shared_ptr 保 存 的 对 象 指针 。 
shared_ptr 这 么 设计 并 不 是 多 余 的 ， 因 为 反正 要 在 创建 对 象 时 捕获 释放 
动作 ， 始 终 需 要 一 个 bridge。 
template<class Y, class D> shared_ptr::shared_ptr(Y* p, D d); 
template<class Y, class D> void shared_ptr::reset(Y* p, D d); 

// 注意 Y 的 类 型 可 能 与 T 不 同 ， 这 是 合法 的 ， 只 要 Yx 能 隐 式 转换 为 Tx。 
那么 我 们 可 以 利用 这 一 点 ， 在 析 构 Stock 对 象 的 同时 清理 stocks_。 


// version 3 
class StockFactory : boost::noncopyable 


// 在 get() 中 ， 将 pStock.reset(new Stock(key)); 改 为 : 
// pStock .reset(new Stock(key), 
// boost::bind(&StockFactory: :deleteStock, this, _1)); // *** 


private: 
void deleteStock(Stock* stock) 


if (stock) { 
MutexLockGuard lock(mutex_); 
stocks_.erase(stock->key()); 
} 
delete stock; // sorry, I lied 
} 
// assuming StockFactory lives longer than all Stock's ... 
We Si 


这 里 我 们 向 pStock.reset() 传 递 了 第 二 个 参数 ， 一 个 boost::function， 

让 它 在 析 构 Stock* p 时 调用 本 StockFactory 对 象 的 delete Stock 成 员 遂 数 。 

警惕 的 读者 可 能 已 经 发 现 问题 ， 那 就 是 我 们 把 一 个 原始 的 
StockFactory this 指 针 保存 在 了 boost::function 里 (*** 处 ) ， 这 会 有 线程 
安全 问题 。 如 果 这 个 StockFactory 先 于 Stock 对 象 析 构 ， 那 么 会 core 
dump。 正 如 Observer 在 析 构 水 数 里 去 调用 Observable::unregister()， 而 那 
时 Observable 对 象 可 能 已 经 不 存在 了 。 

当然 这 也 是 能 解决 的 ， 要 用 到 81.11.2 介 绍 的 弱 回调 技术 。 


1.11.1 enable shared from this 


StockFactory::get() 把 原始 指针 this 保 存 到 了 boost::function 中 (*** 
处 ) ， 如 果 StockFactory 的 生命 期 比 Stock 短 ， 那 么 Stock 析 构 时 去 回调 
StockFactory::deleteStock 就 会 core dump。 似 乎 我 们 应 该 祭 出 惯用 的 
shared_ptr 大 法 来 解决 对 象 生 命 期 问题 ， 但 是 StockFactory::getO0 本 身 是 
个 成 员 函 数 ， 如 何 获 得 一 个 指向 当前 对 象 的 shared_ptr<StockFactory> 对 
象 呢 ? 

有 办 法 ， 用 enable_shared_from_this。 这 是 一 个 以 其 派生 类 为 模板 
类 型 实 参 的 基 类 模板 上， 继承 它 ，this 指 针 就 能 变 身 为 shared_ptr。 


class StockFactory : public boost::enable_shared_from_this<StockFactory>， 
boost: :noncopyable 
€ YE ,RR 


为 了 使 用 shared_from_this()，StockFactory 不 能 是 stack object， 必 须 
是 heap object 且 由 shared_ptr 管 理 其 生命 期 ， 即 : 
shared_ptr<StockFactory> stockFactory(new StockFactory) ; 


万 事 俱 备 ， 可 以 让 this 摇 身 一 变 ， 化 为 shared_ptr<StockFactory> 
轩 


// version 4 
shared_ptr<Stock> StockFactory::get(const string& key) 


// change 

// pStock .reset(new Stock(key), 

We boost::bind(&StockFactory: :deleteStock, this, _1)); 
ATC 


psStock .reset(new Stock(key), 
boost::bind(&StockFactory: :deleteStock, 
shared_from_this(), 
ED 
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这 样 一 来 ，boost::function 里 保存 了 一 份 shared_ptr<StockFactory>， 
可 以 保证 调用 StockFactory::deleteStock 的 时 候 那 个 StockFactory 对 和 象 还 活 
着 。 

注意 一 点 ，shared_from_this() 不 能 在 构造 疯 数 里 调用 ， 因 为 在 构造 
StockFactory 的 时 候 ， 它 还 没有 被 交 给 shared_ptr 接 管 。 

最 后 一 个 问题 ，StockFactory 的 生命 期 似乎 被 意外 延长 了 。 


1.11.2 “” 弱 回调 


把 shared_ptr 绑 (boost::bind) 到 boost:function 里 ， 那 么 回调 的 时 候 
StockFactory 对 象 始终 存在 ， 是 安全 的 。 这 同时 也 延长 了 对 象 的 生命 
期 ， 使 之 不 短 于 绑 得 的 boost:function 对 象 。 

有 时 候 我 们 需要 “如 果 对 象 还 活着 ， 就 调用 它 的 成 员 函 数 ， 否 则 忽 
略 之 ”的 语意 ， 就 像 Observable::notifyObservers0) 那 样 ， 我 称 之 为 “ 弱 回 
调 ”。 这 也 是 可 以 实现 的 ， 利 用 weak_ptr， 我 们 可 以 把 weak_ptr 绑 到 
boost::function 里 ， 这 样 对 象 的 生命 期 就 不 会 被 延长 。 然 后 在 回调 的 时 
候 先 尝试 提升 为 shared_ptr， 如 果 提 升 成 功 ， 说 明 接受 回调 的 对 象 还 健 
在 ， 那 么 就 执行 回调 ;如果 提 升 失败 ， 就 不 必 劳 神 了 。 

使 用 这 一 技术 的 完整 StockFactory 代 码 如 下 : 


class StockFactory : public boost::enable_shared_from_this<StockFactory>， 
boost: :noncopyable 


4 
public: 
shared_ptr<Stock> get(const string& key) 
shared_ptr<Stock> pStock; 
MutexLockGuard lock(mutex_); 
weak_ptr<Stock>& wkStock = stocks_[key]; // 注意 wkStock 是 引用 
pStock = wkStock.1lock(); 
if (!pStock) 
pStock.reset(new Stock(key), 
boost::bind(&StockFactory: :weakDeleteCallback, 
boost::weak_ptr<StockFactory>(shared_from_this()), 
195 
// 上 面 必 须 强 制 把 shared_from_this() 转型 为 weak_ptr， 才 不 会 延长 生命 期 ， 
// 因为 boost::bind 拷贝 的 是 实 参 类 型 ， 不 是 形 参 类 型 
wkStock = pStock; 
} 
return pStock; 
} 
private: 


static void weakDeleteCallback(const boost::weak_ptr<StockFactory>& wkFactory, 
Stock* stock) 
{ 


shared_ptr<StockFactory> factory(wkFactory.lock()); // 尝试 提升 
if (factory)  // 如 果 factory 还 在 ， 那 就 清理 stocks_ 
{ 


factory->removeStock(stock) ; 


} 
delete stock; // sorry, I lied 
} 


void removeStock(Stock*x stock) 
{ 
if (stock) 
{ 
MutexLockGuard lock(mutex_); 
stocks_.erase(stock->key()); 
J 
} 


private: 
mutable MutexLock mutex_; 
std: :map<string, weak_ptr<Stock> > Stocks_; 


两 个 简单 的 测试 : 
void testLongLifeFactory() 


{ 
shared_ptr<StockFactory> factory(new StockFactory) ; 


{ 
shared_ptr<Stock> stock = factory->get ("NYSE:IBM"); 
shared_ptr<Stock> stock2 = factory->get("NYSE:IBM”) ; 
assert(stock == stock2); 
// stock destructs here 


} 


// factory destructs here 


} 


void testShortLifeFactory() 
{ 


shared_ptr<Stock> stock; 


{ 
shared_ptr<StockFactory> factory(new StockFactory); 
stock = factory->get("NYSE:IBM”) ; 
shared_ptr<Stock> stock2 = factory->get("NYSE:IBM”) ; 
assert(stock == stock2); 
// factory destructs here 


} 


// stock destructs here 


} 


这 下 完美 了 ， 无 论 Stock 和 StockFactory 谁 先 挂 掉 都 不 会 影响 程序 的 
正确 运行 。 这 里 我 们 借助 Shared_ptr 和 weak_ptr 完 美 地 解决 了 两 个 对 象 
相互 引用 的 问题 。 

当然 ， 通 常 Factory 对 象 是 个 singleton， 在 程序 正常 运行 期 间 不 会 销 
毁 ， 这 里 只 是 为 了 展示 弱 回 调 技术 *， 这 个 技术 在 事件 通知 中 非常 有 
用 。 

本 节 的 StockFactory 只 有 针对 单个 Stock 对 象 的 操作 ， 如 果 程 序 需 
遍历 整个 stocks_， 稍 不 注意 就 会 造成 死 锁 或 数据 损坏 (82.1) ， 请 参考 
82.8 的 解决 办 法 。 


1.12 ”替代 方案 


除了 使 用 shared_ptrweak_ptr， 要 想 在 C++ 里 做 到 线程 安全 的 对 象 
回调 与 析 构 ， 可 能 的 办 法 有 以 下 一 些 。 


1. 用 一 个 全 局 的 facade 来 代理 Foo 类 型 对 象 访问 ， 所 有 的 Foo 对 象 
回调 和 析 构 都 通过 这 个 facade 来 做 ， 也 就 是 把 指针 替换 为 objId/handle， 
每 次 要 调用 对 象 的 成 员 函 数 的 时 候 先 check-out， 用 完 之 后 再 check-ins 
。 这 样 理 论 上 能 避免 race condition， 但 是 代价 很 大 。 因 为 要 想 把 这 个 
facade 做 成 线程 安全 的 ， 那 么 必然 要 用 互 斥 锁 。 这 样 一 来 ， 从 两 个 线程 
访问 两 个 不 同 的 Foo 对 象 也 会 用 到 同一 个 锁 ， 让 本 来 能 够 并 行 执行 的 孙 
数 变 成 了 串 行 执行 ， 没 能 发 挥 多核 的 优势 。 当 然 ， 可 以 像 Java 的 
ConcurrentHashMap 那 样 用 多 个 buckets， 每 个 bucket 分 别 加 锁 ， 以 降低 
contentiono 

2. 81.4 提 到 的 “只 创建 不 销毁 ”手法 ， 实 属 无 奈 之 举 。 

3. 自己 编写 引用 计数 的 智能 指针 z。 本 质 上 是 重新 发 明 轮 子 ， 把 
shared_ptr 实 现 一 遍 。 正 确实 现 线程 安全 的 引用 计数 智能 指针 不 是 一 件 
容易 的 事情 ， 而 高 效 的 实现 就 更 加 困难 。 既 然 shared_ptr 已 经 提供 了 完 
整 的 解决 方案 ， 那 么 似乎 没有 理由 抗拒 它 。 

4. 将 来 在 C++11 里 有 unique_ptr， 能 避免 引用 计数 的 开销 ， 或 许 能 
在 某 些 场合 替换 shared_ptr。 


其 他 语言 怎么 办 


有 垃圾 回收 就 好 办 。Google 的 Go 语言 教程 明确 指出 ， 没 有 垃圾 回 
收 的 并 发 编程 是 困难 的 (Concurrency is hard without garbage 
collection) 。 但 是 由 于 指针 算术 的 存在 ， 在 C/C++ 里 实现 全 自动 垃圾 回 
收 更 加 困难 。 而 那些 天 生 具 备 垃圾 回收 的 语言 在 并 发 编程 方面 具有 了 明 
显 的 优势 ，Java 是 目前 支持 并 发 编程 最 好 的 主流 语言 ， 它 的 
util.concurrent 库 和 内 存 模型 是 C++11 效 仿 的 对 象 。 


1.13 ”心得 与 小 结 


学 习 多 线程 程序 设计 远 远 不 是 看 看 教程 了 解 API 怎 么 用 那么 简单 ， 
这 最 多 “主要 是 为 了 读 懂 别人 的 代码 ， 如 果 自 己 要 写 这 类 代码 ， 必 须 专 
门 花 时 间 严 肃 、 认 真 、 系 统 地 学 习 ， 严 禁 半 桶 水 上 阵 ” ( 孟 宕 ) #*。 一 
般 的 多 线程 教程 上 都 会 提 到 要 让 加 锁 的 区 域 足够 小 ， 这 没 错 ， 问 题 是 
如 何 找 出 这 样 的 区 域 并 加 锁 ， 本 和 章 8$1.9 举 的 安全 读 写 shared_ptr 可 算是 
一 个 例子 6 

据 我 所 知 ， 目 前 C++ 没有 特别 好 的 多 线程 领域 专著 ， 但 C 语 言 有 ， 
Java 语 言 也 有 。 《Java Concurrency in Practice》[JCP] 是 我 读 过 的 写 得 最 
好 的 书 ， 内 容 足 够 新 ， 可 读 性 和 可 操作 性 俱 佳 。C++ 程 序 员 反 过 来 要 向 
Java 学 习 ， 多 少 有 些 讽刺 。 除 了 编程 书 ， 操 作 系统 教材 也 是 必 读 的 ， 至 
少 要 完整 地 学 习 一 本 经 典 教材 的 相关 章节 ， 可 从 《操作 系统 设计 与 实 
现 》、《 现 代 操 作 系 统 》、 《操作 系统 概念 》 任 选 一 本 ， 了 解 各 种 同 
步 原 语 、 临 界 区 、 竞 态 条 件 、 死 锁 、 典 型 的 IPC 问 题 等 等 ， 防 止 闭 门 造 
车 8 

分 析 可 能 出 现 的 race condition 不 仅 是 多 线程 编程 的 基本 功 ， 也 是 设 
计 分 布 式 系统 的 基本 功 ， 需 要 反复 历练 ， 形 成 一 定 的 思考 范式 ， 并 积 
累 一 些 经 验 教训 ， 才 能 少 犯 错误 。 这 是 一 个 快速 发 展 的 领域 ， 要 不 断 
吸收 新 知识 ， 才 不 会 落伍 。 单 CPU 时 代 的 多 线程 编程 经 验 到 了 多 CPU 
时 代 不 一 定 有 效 ， 因 为 多 CPU 能 做 到 真正 的 并 行 执行 ， 每 个 CPU 看 到 
的 事件 发 生 顺 序 不 一 定 完全 相同 。 正 如 狭义 相对 论 所 说 的 每 个 观察 者 
都 有 自己 的 时 钟 ， 在 不 违反 因果 律 的 前 提 下 ， 可 能 发 生 十 分 违反 直觉 
的 事情 。 

尽管 本 章 通 篇 在 讲 如 何 安 全 地 使 用 (包括 析 构 ) 跨 线程 的 对 象 ， 
但 我 建议 尽量 减少 使 用 跨 线 程 的 对 象 ， 我 赞同 水 木 网 友 ilovecpp 说 的 : 
“用 流水 线 ， 生 产 者 消费 者 ， 任 务 队列 这 些 有 规律 的 机 制 ， 最 低 限 度 地 
共享 数据 。 这 是 我 所 知 最 好 的 多 线程 编程 的 建议 了 。” 

不 用 跨 线 程 的 对 象 ， 自 然 不 会 遇 到 本 章 描述 的 各 种 险 态 。 如 果 进 
不 得 已 要 用 ， 和 希望 本 章 内 容 能 对 你 有 帮助 。 


小 结 


:原始 指针 暴露 给 多 个 线程 往往 会 造成 race condition 或 额外 的 竹 记 
负担 。 

:统一 用 shared_ptr/scoped_ptr 来 管理 对 象 的 生命 期 ， 在 多 线程 中 尤 
其 重要 。 

shared_ptr 是 值 语意 ， 当 心意 外 延长 对 象 的 生命 期 。 例 如 
boost::bind 和 容器 都 可 能 拷贝 shared_ptro 

-Weak_ptr 是 shared_ptr 的 好 搭档 ， 可 以 用 作 弱 回调 、 对 象 闻 等 。 


:认真 阅读 一 遍 boost::shared_ptr 的 文档 ， 能 学 到 很 多 东西 : 
http://Wwww.boost.org/doc/libs/release/libs/smart_ ptr/shared ptr.htm 


保持 开放 心态 ， 留 意 更 好 的 解决 办 法 ， 比 如 C++11 引 入 的 
unique_ptr。 筷 掉 已 被 废弃 的 auto_ptro 


shared_ptr 是 TR1 的 一 部 分 ， 即 C++ 标 准 库 的 一 部 分 ， 值 得 花 一 点 时 
间 去 学 习 掌 握 s*， 对 编写 现代 的 C++ 程 序 有 莫大 的 帮助 。 我 个 人 的 经 验 
是 ， 一 周 左右 就 能 基本 掌握 各 种 用 法 与 常见 陷阱 ， 比 学 STL 还 快 。 网 络 
上 有 一 些 对 shared_ptr 的 批评 ， 那 可 以 算 作 故 意 误 用 的 例子 ， 就 好 比 故 
意 访问 失 效 的 迭代 器 来 证 明 std::vector 不 安全 一 样 。 

正确 使 用 标准 库 ( 含 shared_ptr) 作为 自动 化 的 内 存 .资源 管理 
器 ， 解 放大 脑 ， 从 此 告别 内 存 错误 。 


1.14 Observer 之 雇 


本 章 81.8 把 shared_ptr/weak_ptr 应 用 到 Observer 模 式 中 ， 部 分 解决 了 
其 线程 安全 问题 。 我 用 Observer 举例 ， 因 为 这 是 一 个 广为人知 的 设计 模 
式 ， 但 是 它 有 本 质 的 问题 。 

Observer 模式 的 本 质问 题 在 于 其 面向 对 象 的 设计 。 换 句 话说 ， 我 认 
为 正 是 面向 对 象 (OO) 本 身 造 成 了 Observer 的 缺点 。Observer 是 基 类 ， 
这 带 来 了 非常 强 的 耦合 ， 强 度 仅 次 于 友 元 (friend) 。 这 种 耦合 不 仅 限 
制 了 成 员 函 数 的 名 字 、 参 数 、 返 回 值 ， 还 限制 了 成 员 函 数 所 属 的 类 型 
(必须 是 Observer 的 派生 类 ) 。 


Observer class 是 基 类 ， 这 意味 着 如 果 Foo 想 要 观察 两 个 类 型 的 事件 
(比如 时 钟 和 温度 ) ， 需 要 使 用 多 继承 。 这 还 不 是 最 糟糕 的 ， 如 果 要 
重复 观察 同一 类 型 的 事件 (比如 1 秒 一 次 的 心跳 和 30 秒 一 次 的 自 检 ， ， 
就 要 用 到 一 些 伎俩 来 work around， 因 为 不 能 从 一 个 Base class 继 承 两 
次 。 

现在 的 语言 一 般 可 以 绕 过 Observer 模式 的 限制 ， 比 如 Java 可 以 用 匿 
名 内 部 类 ，Java 8 用 Closure，C# 用 delegate，C++ 用 
boost::function/boost::bind*。 

在 C++ 里 为 了 替换 Observer， 可 以 用 Signal/Slots， 我 指 的 不 是 QT 那 
种 靠 语 言 扩展 的 实现 ， 而 是 完全 靠 标准 库 实现 的 thread safe、race 
condition free、thread contention free 的 Signal/Slots， 并 且 不 强制 要 求 
shared_ptr 来 管理 对 象 ， 也 就 是 说 完全 解决 了 8$1.8 列 出 的 Observer 遗留 问 
题 。 这 会 用 到 82.8 介 绍 的 “ 借 shared_ptr 实 现 copy-on-write” 技 术 。 

在 C++11 中 ， 借 助 variadic template， 实 现 最 简单 (trivial) 的 一 对 
多 回调 可 谓 不 费 吹 灰 之 力 ， 代 码 如 下 。 


recipesythread/SignalslotTriviaLh 
template<typename Signature> 
class SignalTrivial; 


// NOT thread safe !1!! 
template <typename RET, typename... ARGS> 
class SignalTrivial<RET(ARGS...)> 


public: 
typedef std::function<void (ARGS...)> Functor; 


void connect(Functor&& func) 


{ 


functors_.push_back(std: :forward<Functor>(func)); 


} 


void call(ARGS&&... args) 
{ 


for (const Functor& f: functors_) 


[ 
} 
} 
private: 
std: :vector<Functor> functors_; 
} 


recipes/thread/SignalSlotTrivial.h 


我 们 不 难 把 以 上 基本 实现 扩展 为 线程 安全 的 Signal/Slots， 并 且 在 
Slot 析 构 时 自动 unregister。 有 兴趣 的 读者 可 仔细 阅读 完整 实现 的 代码 ( 
recipes/thread/SignalSlot.h ) 。 


结语 


《C++ 沉思 录 》 (Ruminations on C++ 中 文 版 ) 的 附录 是 王 曦 和 也 
岩 对 作者 夫妇 二 人 的 采访 ， 在 被 问 到 “请 给 我 们 三 个 你 们 认为 最 重要 的 
建议 "时 ，Koenig 和 Moo 的 第 一 个 建议 是 “避免 使 用 指针 ”。 我 2003 年 读 
到 这 段 时 ， 理 解 不 深 ， 觉 得 固然 使 用 指针 容易 造成 内 存 方面 的 问题 ， 
但 是 完全 不 用 也 是 做 不 到 的 ， 毕 竟 C++ 的 多 态 要 通过 指针 或 引用 来 起 
效 。6 年 之 后 重新 拾 起 来 ， 发 现 大 师 的 观点 何其 深刻 ， 不 免 掩 卷 长 叹 。 

这 本 书 详细 地 介绍 了 handle/body idiom， 这 是 编写 大 型 C++ 程序 的 
必 备 技术 ， 也 是 实现 物理 隔离 的 “法 宝 ”， 值 得 细 读 。 


目前 来 看 ， 用 shared_ptr 来 管理 资源 在 国内 C++ 界 似乎 并 不 是 一 种 
主流 做 法 ， 很 多 人 排斥 智能 指针 ， 视 其 为 “洪水 猛兽 ” (这 或 许 受 了 
auto_ptr 的 垃圾 设计 的 影响 ) 。 据 我 所 知 ， 很 多 C++ 项 目 还 是 手动 管理 
内 存 和 资产， 因此 我 觉得 有 必要 把 我 认为 好 的 做 法 分 享 出 来 ， 让 更 多 
的 人 尝试 并 采纳 。 我 觉得 shared_ptr 对 于 编写 线程 安全 的 C++ 程 序 是 至 
关 重 要 的 ， 不 然 就 得 * 土 法 炼 钢 "， 上 自己 “重新 发 明 轮 子 :”。 这 让 我 想起 
了 2001 年 前 后 STL 了 刚刚 传 入 国内 ， 大 家 也 是 很 犹 阮 ， 觉 得 它 性 能 不 高 ， 
使 用 不 便 ， 还 不 如 目 己 造 的 容器 类 。10 年 过 去 了 ， 现 在 STL 已 经 是 
流 ， 大 家 也 适应 了 和 迭代 器 、 容 器 、 算 法 、 适 配器 、 仿 函数 这 些 “ 新 ”名 
词 、“ 新 ”技术 ， 开 始 在 项 目 中 普遍 使 用 (至 少 用 vector 代 替 数 组 嘛 ) 。 
我 希望 ， 几 年 之 后 人 们 回头 看 本 章 内 容 ， 觉 得 “怎么 讲 的 都 是 常识 ”， 
那 我 的 写作 目的 也 就 达到 了 。 


注释 


1 这 两 个 class 也 是 TR1 的 一 部 分 ， 位 于 std::tr1 命 名 空间 ; 在 C++11 中 ， 它 们 是 标准 库 的 一 
部 分 。 
2 ”可 重 入 与 不 可 重 入 的 讨论 见 82.1.1。 


3 ” 空 县 指针 (dangling pointer) 指向 已 经 销毁 的 对 象 或 已 经 回收 的 地 址 ， 野 指针 (wild 
pointer) 指 的 是 未 经 初始 化 的 指针 (http://enwikipedia.org/wiki/Dangling_pointer ) 。 

4 ”在 Java 中 ， 一 个 reference 只 要 不 为 null， 它 一 定 指向 有 效 的 对 象 。 

5 ”C++ 标准 对 在 构造 阅 数 和 析 构 阅 数 中 调用 虚 消 数 的 行为 有 明确 规定 ， 但 是 没有 考虑 并 
发 调用 的 情况 。 

6 http://enwikipedia.org/Wwiki/Abstraction layer 

7 ”参见 Edsger W. Dijkstra 的 著名 演讲 《The Humble Programmer》 

(http://www.cs.utexas.edu/~EWD/transcriptions/EWDO3xx/EWD340.html ) 。 
8 http://blog.csdn.net/myan/article/details/1906 
9 《Java 替代 C 语 言 的 可 能 性 》 (http://blog.csdn.net/myan/article/details/1482614 ) 。 
10 http://trac.nginx.org/nginx/ticket/{134,135,162} 
1 http://www.boost.org/doc/libs/release/libs/smart ptr/shared_ptr.htm#ThreadSafety 
12 http://www.artima.com/cppsource/top cpp_aha moments.html 
13 “recipes/thread/test/Factorycc 包含 这 里 提 到 的 各 个 版 本 。 
14 http://enwikipedia.org/Wiki/Curiously recurring template pattern 
15 ”通用 的 弱 回 调 封 装 见 recipes/thread/WeakCallback.h ， 用 到 了 C++11 的 variadic template 和 
eferenceo 
这 是 Jeff Grossman 在 《A technique for safe deletion with object locking》 一 文中 提出 的 

办 法 [Gr00]。 

17 Vahttp://blog.csdn.net/solstice/article/details/5238671#comments 后 面 的 评论 。 


rvalu 


18 ， 孟 岩 《快速 掌握 一 个 语言 最 常用 的 50%》 人 博客， 这 篇 博客 ( 
http://blog.csdn.net/myan/article/details/3144661 ) 的 其 他 文字 也 很 有 趣味 :“ 粗 粗 看 看 语法 ， 就 的 
起 袖子 开 干 ， 边 查 Google 边 学 习 ” 这 种 路 子 也 有 问题 ， 在 对 于 这 种 语言 的 脾气 秉性 还 没有 了 解 
的 情况 下 大 刀 阔 佐 地 拼凑 代码 ， 写 出 来 的 东西 上 衣 定 不 入 流 。 说 穿 新 鞋 走 老路 ， 新 瓶装 旧 酒 ， 那 
都 是 小 问题 ， 真 正 严重 的 是 这 样 的 程序 员 可 以 在 短 时 间 内 堆积 大 量 充满 缺陷 的 垃圾 代码 。 由 于 
通常 开发 阶段 的 测试 完备 程度 有 限 ， 这 些 垃圾 代码 往往 能 通过 这 个 阶段 ， 从 而 潜伏 下 来 ， 在 后 
期 成 为 整个 项 目的 “毒瘤 *"， 反 反复 复 让 后 来 的 维护 者 陷入 西西 弗 斯 困境 。...…... 其 实 真 正 写 程序 
不 怕 完 全 不 会 ， 最 怕 一 知 半 解 地 去 攒 解决 方案 。 因 为 你 完全 不 会 ， 就 自然 会 去 认真 查 书 学 习 ， 
如 果 学 习 能 力 好 的 话 ， 写 出 来 的 代码 质量 不 会 差 。 而 一 知 半 解 ， 自 己 动手 “ 土 法 炼 钢 *"， 那 搞 出 
来 的 基本 上 都 是 “ 废 铜 烂 铁 ”。 

19 “和 孟 贿 在 《垃圾 收集 机 制 批 判 》 中 说 : 在 C++ 中 ，new 出 来 的 对 象 没有 delete， 这 就 导致 
了 memory leak。 但 是 C++ 早 就 有 了 克服 这 一 问题 的 办 法 一 smart pointer。 通过 使 用 标准 库 里 
设计 精致 的 各 种 STL 容 器 ， 还 有 例如 Boost 库 (差不多 是 个 准 标准 库 了 ) 中 的 4 个 smart pointers， 
C++ 程序 员 只 要 人 花 上 一 个 星期 的 时 间 学 习 最 新 的 资料 ， 就 可 以 拍 着 胸 且 说 :“ 我 写 的 程序 没有 
memory leak!”。 

20 ， 见 811.5“ 以 boost'::function 和 boost:bind 取 代 虚 函数 "， 还 有 和 孟 岩 的 《function/bind 的 救 


赎 (上 ) 》 (http://blog.csdn.net/myan/article/details/5928531 ) 。 
21 http://en.wikipedia.org/Wwiki/Reinventing the wheel 


第 2 章 ”线程 同步 精 要 


并 发 编程 有 两 种 基本 模型 ， 一 种 是 message passing， 另 一 种 是 
shared memory。 在 分 布 式 系统 中 ， 运 行 在 多 人 台 机 器 上 的 多 个 进程 的 并 
行 编程 只 有 一 种 实用 模型 : message passing:。 在 单机 上 ， 我 们 也 可 以 
照搬 message passing 作 为 多 个 进程 的 并 发 模型 。 这 样 整个 分 布 式 系统 的 
架构 的 一 致 性 很 强 ， 扩 容 (scale out) 起 来 也 较 容易 。 在 多 线程 编程 
中 ，message passing 更 容易 保证 程序 的 正确 性 ， 有 的 语言 只 提供 这 一 种 
模型 。 不 过 在 用 C/C++ 编 写 多 线程 程序 时 ， 我 们 仍然 需要 了 解 底层 的 
shared memory 模 型 下 的 同步 原 语 ， 以 备 不 时 之 需 。 本 章 不 是 多 线程 教 
程 :， 而 是 个 人 经 验 总 结 ， 分 享 一 些 C++ 多 线程 编程 的 经 验 。 本 章 多 次 
引用 《Real-World Concurrency》 一 文 的 观点 ， 这 篇 文章 的 地 址 是 
http://queue.acm.org/detail.cfm?id=1454462 ， 后 文 简称 [RWC]。 

线程 同步 的 四 项 原则 ， 按 重要 性 排列 : 


1. 首要 原则 是 尽量 最 低 限 度 地 共享 对 象 ， 减 少 需要 同步 的 场合 。 
一 个 对 象 能 不 暴露 给 别 的 线程 就 不 要 暴露 ; 如 果 要 暴露 ， 优 先 考 虑 
immutable 对 象 ; 实在 不 行 才 暴 露 可 修改 的 对 象 ， 并 用 同步 措施 来 充分 
保护 它 。 

2. 其 次 是 使 用 高 级 的 并 发 编程 构件 ， 如 TaskQueue、Producer- 
Consumer Queue、CountDownLatch 等 等 。 

3. 最 后 不 得 已 必须 使 用 底层 同步 原 语 (primitives) 时 ， 只 用 非 递 
归 的 互 斥 器 和 条 件 变 量 ， 慎 用 读 写 锁 ， 不 要 用 信号 量 。 

4. 除了 使 用 atomic 整 数 之 外 ， 不 上 自己 编写 lock-free 代 码 :， 也 不 要 
用 “内 核 级 ”同步 原 语 入 。 不 凭空 猜测 “ 哪 种 做 法 性 能 会 更 好 ”， 比 如 spin 


lock vs. mutexo 


前 面 两 条 很 容易 理解 ， 这 里 着 重 讲 一 下 第 3 条 : 底层 同步 原 语 的 使 
用 。 


2.1 互 斥 器 (mutex) 


互 斥 器 (mutex) “恐怕 是 使 用 得 最 多 的 同步 原 语 ， 粗 略 地 说 ， 它 
保护 了 临界 区 ， 任 何 一 个 时 刻 最 多 只 能 有 一 个 线程 在 此 mutex 划 出 的 临 
界 区 内 活动 。 单 独 使 用 mutex 时 ， 我 们 主要 为 了 保护 共享 数据 。 我 个 人 
的 原则 是 : 


.用 RAII 手 法 封装 mutex 的 创建 、 销 毁 、 加 锁 、 解 锁 这 四 个 操作 。 用 
RAII 封 装 这 几 个 操作 是 通行 的 做 法 ， 这 几乎 是 C++ 的 标准 实践 ， 后 面 我 
会 给 出 具体 的 代码 示例 ， 相 信 大 家 都 已 经 写 过 或 用 过 类 似 的 代码 了 。 
Java 里 的 synchronized 语 句 和 C# 的 using 语 句 也 有 类 似 的 效果 ， 即 保证 锁 
的 生效 期 间 等 于 一 个 作用 域 (scope) ， 不 会 因 异 常 而 忘记 解锁 。 

:只 用 非 递 归 的 mutex ( 即 不 可 重 入 的 mutex) 。 

:不 手工 调用 lock() 和 unlock() 冰 数 ， 一 切 交 给 栈 上 的 Guard 对 象 的 构 
造 和 析 构 函数 负责 。Guard 对 象 的 生命 期 正好 等 于 临界 区 (分 析 对 象 在 
什么 时 候 析 构 是 C++ 程序 员 的 基本 功 ) 。 这 样 我们 保证 始终 在 同一 个 函 
数 同 一 个 scope 里 对 某 个 mutex 加 锁 和 解锁 。 避 免 在 foo0 里 加 锁 ， 然 后 跑 
到 bar0 里 解锁 ;) 也 避免 在 不 同 的 语句 分 支 中 分 别 加 锁 、 解 锁 。 这 种 做 
法 被 称 为 Scoped Locking’。 

.在 每 次 构造 Guard 对 象 的 时 候 ， 思 考 一 路 上 (调用 栈 上 ) 已 经 持 有 
的 锁 ， 防 止 因 加 锁 顺 序 不 同 而 导致 死 锁 (deadlock) 。 由 于 Guard 对 象 
是 栈 上 对 象 ， 看 函数 调用 栈 就 能 分 析 用 锁 的 情况 ， 非 常 便利 。 


次 要 原则 有 : 


:不 使 用 跨 进 程 的 mutex， 进 程 间 通 信 只 用 TCP sockets。 

.加 锁 、 解 锁 在 同一 个 线程 ， 线 程 a 不 能 去 unlock 线 程 b 已 经 锁 住 的 
mutex (RAII 自 动 保证 ) 。 

: 别 忘 了 解锁 〈(RAI 自 动 保 证 ) 。 

.不 重复 解锁 〈(RAII 自 动 保证 ) 。 


.必要 的 时 候 可 以 考虑 用 PTHREAD_MUTEX_ERRORCHECK 来 排 
错 。 


mutex 恐 怕 是 最 简单 的 同步 原 语 ， 按 照 上 面 的 几 条 原则 ， 几 乎 不 可 
能 用 错 。 我 自己 从 来 没有 违背 过 这 些 原则 ， 编 码 时 出 现 问题 都 很 快 能 
定位 并 修复 。 


2.1.1 ”只 使 用 非 递归 的 mutex 


谈 谈 我 坚持 使 用 非 递归 的 互 斥 器 的 个 人 想法 。 

mnutex 分 为 递归 (recursive) 和 非 递 归 (non-recursive) 两 种 ， 这 是 
POSIX 的 叫 法 ， 另 外 的 名 字 是 可 重 入 (reentrant) 与 非 可 重 入 。 这 两 种 
mutex 作 为 线程 间 (inter-thread) 的 同步 工具 时 没有 区 别 ， 它 们 的 唯一 
区 别 在 于 : 同一 个 线程 可 以 重复 对 recursive mutex 加 锁 ， 但 是 不 能 重复 
对 non-recursive mutex 加 锁 。 

首选 非 递归 mutex， 绝 对 不 是 为 了 性 能 ， 而 是 为 了 体现 设计 意图 。 
non-recursive 和 recursive 的 性 能 差别 其 实 不 大 ， 因 为 少 用 一 个 计数 器 ， 


会 立刻 导致 死 锁 ， 我 认为 这 是 它 的 优点 ， 能 帮助 我 们 思考 代码 对 锁 的 
期 求 ， 并 且 及 早 “〈 在 编码 阶段 ) 发 现 问题 。 

室 无 疑问 recursive mutex 使 用 起 来 要 方便 一 些 ， 因 为 不 用 考虑 一 个 
线程 会 自己 把 自己 给 锁 死 了 ， 我 猜 这 也 是 Java 和 Windows 默 认 提 供 
recursive mutex 的 原因 。 (Java 语 言 自 带 的 intrinsic lock 是 可 重 入 的 , 它 
的 util.concurrent 库 里 提供 ReentrantLock，Windows 的 
CRITICAL_SECTION 也 是 可 重 入 的 。 似 乎 它们 都 不 提供 轻 量 级 的 non- 
recursive mutexo ) 

正 因为 它 方便 ，recursive mutex 可 能 会 隐藏 代码 里 的 一 些 问 题 。 典 
型 情况 是 你 以 为 拿 到 一 个 锁 就 能 修改 对 象 了 ， 没 想到 外 层 代 码 已 经 拿 
到 了 锁 ， 正 在 修改 (或 读 取 ) 同一 个 对 象 呢 。 来 看 一 个 具体 的 例子 ( 
recipes/thread/test/NonRecursiveMutex test.cc) : 


MutexLock mutex ; 
std: :Vector<Foo> foos; 


void post(const Foo& f) 


MutexLockGuard lock(mutex); 
foos.push_back (f) ; 
} 


void traverse() 


MutexLockGuard lock(mutex); 
for (std::vector<Foo>::const_iterator it = foos.begin(); 
it != foos.end(); ++it) 
it->doit(); 
} 
让 


postO 加 锁 ， 然 后 修改 foos 对 象 ; traverse0 加 锁 ， 然 后 遍历 foos 向 
量 。 这 些 都 是 正确 的 。 
将 来 有 一 天 ，Foo::doitO 间 接 调 用 了 post0， 那 么 会 很 有 戏剧 性 的 结 


知 


1. mnutex 是 非 递 归 的 ， 于 是 死 锁 了 。 
2. mnutex 是 递归 的 ， 由 于 push_back0O 可 能 (但 不 总 是 ) 导致 vector 
迭代 器 失效 ， 程 序 偶尔 会 crash。 


这 时 候 就 能 体现 non-recursive 的 优越 性 : 把 程序 的 逻辑 错误 暴露 出 
来 。 死 锁 比较 容易 debug， 把 各 个 线程 的 调用 栈 打出 来 :， 只 要 每 个 水 数 
不 是 特别 长 ， 很 容易 看 出 来 是 怎么 死 的 ， 见 82.1.2 的 例子 :。 或 者 可 以 
用 PTHREAD_MUTEX_ERRORCHECK 一 下 子 就 能 找到 错误 (前提 是 
MutexLock 带 debug 选 项 ) 。 程 序 反 正 要 死 ， 不 如 死 得 有 意义 一 点 ， 留 
个 “全 尸 "， 让 验尸 (post-mortem) 更 容易 些 。 

如 果 确 实 需要 在 遍历 的 时 候 修改 vector， 有 两 种 做 法 ， 一 是 把 修改 
推 后 ， 记 住 循 环 中 试图 添加 或 删除 哪些 元 素 ， 等 循环 结束 了 再 依 记 录 


修改 foos; 二 是 用 copy-on-write， 见 82.8 的 例子 。 
如 果 一 个 函数 既 可 能 在 已 加 锁 的 情况 下 调用 ， 又 可 能 在 未 加 锁 的 
情况 下 调用 ， 那 么 就 拆 成 两 个 函数 : 


1. 跟 原 来 的 函数 同名 ， 阔 数 加 锁 ， 转 而 调用 第 2 个 函数 。 
2. 给 函数 名 加 上 后 缀 WithLockHold， 不 加 锁 ， 把 原来 的 函数 体 搬 
过 来 。 


就 像 这 样 : 
void post(const Foo& f) 
{ 


MutexLockGuard lock(mutex); 

postWithLockHold(f);”// 不 用 担心 开销 ， 编 译 器 会 自动 内 联 的 
} 
// 引入 这 个 函数 是 为 了 体现 代码 作者 的 意图 ， 尽 管 push_back 通常 可 以 手动 内 联 
void postWithLockHold(const Foo& f) 


{ 
foos.push_back(f); 


} 

这 有 可 能 出 现 两 个 问题 (感谢 水 木 网 友 ilovecpp 提 出 ) : 

(a) 误 用 了 加 锁 版 本 ， 死 锁 了 。 

(b) 误 用 了 不 加 锁 版 本 ， 数 据 损坏 了 。 

对 于 (a) ,仿造 82.1.2 的 办 法 能 比较 容易 地 排 错 。 对 于 (b) ， 如 
果 Pthreads 提 供 isLockedByThisThread0 就 好 办 ， 可 以 写成 : 


void postWithLockHold(const Foo& f) 

{ 
assert(mutex.isLockedByThisThread()); // muduo: :MutexLock 提供 了 这 个 成 员 函 数 
A i 

} 


另外 ，WithLockHold 这 个 显眼 的 后 缀 也 让 程序 中 的 误 用 容易 暴露 出 
来 6 

C++ 没 有 annotation， 不 能 像 Java 那 样 给 method 或 field 标 上 
@GuardedBy 注 解 ， 需 要 程序 员 自 己 小 心 在 意 。 里 然 这 里 的 办 法 不 能 一 
劳 永 逸 地 解决 全 部 多 线程 错误 ， 但 能 帮 上 一 点 是 一 点 了 。 


我 还 没有 遇 到 过 需要 使 用 recursive mutex 的 情况 ， 我 想 将 来 遇 到 
都 可 ee non-recursive mutex， 代 码 只 会 更 清晰 。 

Pthreads 的 权威 专家 ，《Programming with POSIX Threads》 的 作者 
David Butenhof 也 排斥 使 用 recursive mutex。 他 说 : 2 


First, implementation of efficient and reliable threaded code revolves 
around one simple and basic principle: follow your design. That implies, of 
course, that you have a design, and that you understand it. 

A correctand well understood design does not require re cursive 


mutexes. (后 略 ) 


回 到 正题 。 本 文 这 里 只 谈 了 mnutex 本 身 的 正确 使 用 ， 在 C++ 里 多 线 
程 编 程 还 会 ee condition， 请 参看 第 1 章 。 

性 能 注脚 : Linux 的 Pthreads mutex 采 用 futex(2) 实 现 :， 不 必 每 次 加 
锁 、 解 锁 都 陷入 系统 调用 ， 效 率 不 错 。Windows 的 
CRITICAL_SECTION 也 是 类 似 的 ， 不 过 它 可 以 做 入 一 小 段 spin lock。 
在 多 CPU 系统 上 ， 如 果 不 能 立刻 拿 到 锁 ， 它 会 先 spin 一 小 段 时 间 ， 如 果 
还 不 能 拿 到 锁 ， 才 挂 起 当前 线程 2。 


2.1.2” 死 锁 


前 面 说 过 ， 如 果 坚 持 只 使 用 Scoped Locking， 那 么 在 出 现 死 锁 的 时 
候 很 容易 定位 。 考 虑 下 面 这 个 线程 自己 与 自己 死 锁 的 例子 ( 
recipes/thread/test/SelfDeadLock.cc ) 。 
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hu RD hh 
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class Request 


R 
public: 
void process() // __attribute__ ((noinline)) 
{ 
muduo: :MutexLockGuard lock(mutex_); 
-J 


print(); // 原本 没有 这 行 ， 某 人 为 了 调试 程序 不 小 心 添加 了 。 
} 


void print() const // __attribute__ ((noinline)) 


muduo: :MutexLockGuard lock(mutex_); 
人 
} 


private: 
mutable muduo: :MutexLock mutex_; 


.3 


int main() 


{ 


Request req; 
req.process(); 


} 
在 上 面 这 个 例子 中 ， 原 本 没有 L8， 在 添加 它 之 后 ， 程 序 立 刻 出 现 


了 和 死 锁 。 要 调试 定位 这 种 死 锁 很 容易 ， 只 要 把 函数 调用 栈 打 印 出 来 ， 
结合 源码 一 看 ， 我 们 立刻 就 会 发 现 第 6 帧 Request::processO0 和 第 5 帧 
Reduest'::print(O 先 后 对 同一 个 mutex 上 锁 ，5 引 发 了 死 锁 。 (必要 的 时 候 可 
以 加 上 _ attribute “来 防止 函数 inline 展 开 。 ) 


$ gdb ./self_deadlock core 
(gdb) bt 


#0 


__l1ll_lock_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/lowlevellock.S:136 
_L_lock_953 () from /lib/libpthread.so.0 

__pthread_mutex_lock (mutex=0x7fffecf57bf0) at pthread_mutex_lock.c:61 

muduo: :MutexLock: :lock () at test/../Mutex.h:49 

MutexLockGuard () at test/../Mutex.h:75 

Request: :print () at test/SelfDeadLock.cc:14 

Request: :process () at test/SelfDeadLock.cc:9 

main () at test/SelfDeadLock.cc:24 


要 修复 这 个 错误 也 很 容易 ， 按 前 面 的 办 法 ， 从 Request::print() 抽 取 
出 sRequest::printWithLockHold()， 并 让 Request::print() 和 
Request::process() 都 调用 它 即 可 。 

再 来 看 一 个 更 真实 的 两 个 线程 死 锁 的 例子 ( 
recipes/thread/test/MutualDeadLock.cc ) 。 

有 一 个 Inventory (清单 ) class， 记 录 当 前 的 Request 对 象 。 “容易 看 
出 ， 下 面 这 个 Inventory class 的 add0 和 remove0) 成 员 函 数 都 是 线程 安全 
的 ， 它 使 用 了 mnutex 来 保护 共享 数据 requests_。 


class Inventory 


{ 
public: 
void add(Request* req) 
{ 


muduo: :MutexLockGuard lock(mutex_); 
requests_.insert(req); 


} 


void remove(Requestx req) // __attribute__ ((noinline)) 


{ 
muduo: :MutexLockGuard lock(mutex_) ; 
requests_.erase(req); 


| 
void printAll() const; 


private: 
mutable muduo: :MutexLock mutex_: 
std::set<Request*> requests._; 


Inventory g_inventory; // 为 了 简单 起 见 ， 这 里 使 用 了 全 局 对 象 。 
Request class 与 Inventory class 的 交互 逻辑 很 简单 ， 在 处 理 
(process) 请 求 的 时 候 ， 往 g_inventory 中 添加 自己 。 在 析 构 的 时 候 ， 从 
&_inventory 中 移 除 自 己 。 目 前 看 来 ， 整 个 程序 还 是 线程 安全 的 。 


1 class Request 

驼 水 

3 public: 

4 void process() // __attribute_. ((noinline)) 
5 { 

6 muduo: :MutexLockGuard lock(mutex_); 

7 g_inventory.add(this):; 

8 py 

9 } 

10 

11 ~Request() __attribute__ ((noinline)) 

12 

13 muduo: :MutexLockGuard lock(mutex_); 

14 sleep(1); // 为 了 容易 复 现 死 锁 ， 这 里 用 了 延 时 
15 g_inventory. remove(this) ; 

16 } 

17 

18 void print() const __attribute__ ((noinline)) 
19 

20 muduo: :MutexLockGuard lock(mutex_); 

21 Cw 

22 } 

23 

24 private: 

25 mutable muduo: :MutexLock mutex_; 

2 


Inventory class 还 有 一 个 功能 是 打印 全 部 已 知 的 Request 对 象 。 
Inventory:: printAl10 里 的 逻辑 单独 看 是 没 问题 的 ， 但 是 它 有 可 能 引发 死 
锁 。 


void Inventory: :printAl1() const 

€ 
muduo: :MutexLockGuard lock(mutex_); 
sleep(1); // 为 了 容易 复 现 死 锁 ， 这 里 用 了 延 时 


for (std::set<Request*>::const_iterator it = requests_.begin(); 


it != requests_.end(); 
pi 
{ 
(x*it)->print(); 
} 
printf("Inventory: :printAll() unlocked\n”"); 


下 面 这 个 程序 运行 起 来 发 生 了 死 锁 : 
void threadFunc() 
Request* req = new Request; 
req->process(); 


delete req; 
} 


int main() 

{ 
muduo: :Thread thread(threadFunc); 
thread. start(); 


usleep(506 * 1000); // 为 了 让 另 一 个 线程 等 在 前 面 第 14 行 的 sleep() 上 。 
g_inventory.printAll(); 
thread. join(); 


通过 gdb 查 看 两 个 线程 的 函数 调用 栈 ， 我 们 发 现 两 个 线程 都 等 在 
mutex 上 (_]ll_lock_wait) ， 估 计 是 发 生 了 和 死 锁 。 因 为 一 个 程序 中 的 线 
程 一 般 只 会 等 在 condition variable 上 ， 或 者 等 在 epoll_wait 上 。 


$ gdb ./mutual_deadlock core 
(gdb) thread apply all bt 


Thread 1 (Thread 31229): # 这 是 main() 线程 

#0 __111_lock_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/lowlevellock.S:136 
#1 _L_lock_953 () from /lib/libpthread.so.0 

#2 __pthread_mutex_lock (mutex=@xecd150) at pthread_mutex_lock.c:61 

#3 muduo: :MutexLock: :1lock (this=0xecd150) at test/../Mutex.h:49 

#4 MutexLockGuard (this=@xecd158) at test/../Mutex.h:75 

#5 Request::print (this=0xecd150) at test/MutualDeadLock.cc:5]1 

#6 Inventory::printAll (this=0Ox605aa0) at test/MutualDeadLock.cc:67 

#7 0x0000000000403368 in main () at test/MutualDeadLock.cc:84 


Thread 2 (Thread 31230): # 这 是 threadFunc() 线程 
#0 __111_1lock_wait () at ../nptl/sysdeps/unix/sysv/linux/x86_64/lowlevellock.S:136 
#1 _L_lock_953 () from /lib/libpthread.so.0 
#2 __pthread_mutex_lock (mutex=0x605aa0) at pthread_mutex_lock.c:61 
#3 muduo: :MutexLock: :lock (this=0x605aa0，req=0x80) at test/../Mutex.h:49 
#4 MutexLockGuard (this=0x605aa0，req=0x80) at test/../Mutex.h:75 
#5 Inventory::remove (this=0@x605aa0@, req=0x80) at test/MutualDeadLock.cc:19 
#6 ~Request (this=0xecd150，...) at test/MutualDeadLock.cc:46 
#7 threadFunc () at test/MutualDeadLock.cc:76 
#8 boost: :function0<void>::operator() (this=0x7fff21c10310) 
at /usr/include/boost/function/function_template.hpp:1013 
#9 muduo: :Thread: :runInThread (this=0x7fff21c10310) at Thread.cc:113 
#10 muduo: :Thread: :startThread (obj=0x605aa0) at Thread.cc:105 
#11 start_thread (arg=<value optimized out>) at pthread_create.c:300 
#12 clone () at ../sysdeps/unix/sysv/linux/x86_64/clone.S:112 


注意 到 main0 线 程 是 先 调 用 Inventory::printAll(#6) 再 调用 
Request::print(#5)， 而 threadFuncO 线 程 是 先 调 用 Request:: 僵 Request(#6) 
再 调用 Inventory::remove(#5)。 这 两 个 调用 序列 对 两 个 mutex 的 加 锁 顺 序 
正好 相反 ， 于 是 造成 了 经 典 的 死 锁 。 见 图 2-1，Inventory class 的 mutex 
的 临界 区 由 灰 底 表示 ，Request class 的 mutex 的 临界 区 由 斜纹 表示 。 一 
旦 main() 线 程 中 的 printAll0 在 另 一 个 线程 的 ~~Request() 和 remove() 之 间 ] 
开始 执行 ， 死 锁 已 不 可 避免 。 


printAll() Rs 
main() 
main() 
~Request() removeU 
threadFunc() 
threadFunc() 


0s 0.5s 1s 1.5s 2S 


图 2-1 


思考 : 如 果 printAl0 晚 于 remove0O 执 行 ， 还 会 出 现 死 锁 吗 ? 

练习 : 修改 程序 ， 让 天 RequestO 在 printAl0 和 printO0 之 间 开 始 执 
行 ， 复 现 另 一 种 可 能 的 死 锁 时 序 。 

这 里 也 出 现 了 第 1 章 所 说 的 对 象 析 构 的 race condition， 即 一 个 线程 
正在 析 构 对 象 ， 另 一 个 线程 却 在 调用 它 的 成 员 孙 数 。 

解决 死 锁 的 办 法 很 简单 ， 要 么 把 printO 移 出 printAl0 的 临界 区 ， 这 
可 以 用 $2.8 介 绍 的 办 法 ; 要 么 把 remove0 移 出 ~RequestO 的 临界 区 ， 比 
如 交换 此 处 中 L13 和 L15 两 行 代码 的 位 置 。 当 然 这 没有 解决 对 象 析 构 的 
race condition， 留 给 读者 当做 练习 吧 。 

思考 : Inventory::printAll ~ Request::print 有 没有 可 能 与 
Request::process -~ Inventory::add 发 生死 锁 ? 

死 锁 会 让 程序 行为 失常 ， 其 他 一 些 锁 使 用 不 当 则 会 影响 性 能 ， 例 
如 潘 爱 民 老 师 写 的 《Lock Convoys Explained》 上 53 详 细 解 释 了 一 种 性 能 豪 
退 的 现象 。 除 此 之 外 ， 编 写 高 性 能 多 线程 程序 至 少 还 要 知道 false 
sharing 和 CPU cache 效 应 ， 可 看 脚注 中 的 这 几 篇 文章 2#。 


2.2 ”条 件 变 量 (condition variable) 


互 斥 器 (mutex) 是 加 锁 原 语 ， 用 来 排他 性 地 访问 共享 数据 ， 它 不 
是 等 待 原 语 。 在 使 用 mutex 的 时 候 ， 我 们 一 般 都 会 期 望 加 锁 不 要 阻塞 ， 
总 是 能 立刻 拿 到 锁 。 然 后 尽快 访问 数据 ， 用 完 之 后 尽快 解锁 ， 这 样 才 
能 不 影响 并 发 性 和 性 能 。 

如 果 需 要 等 待 某 个 条 件 成 立 ， 我 们 应 该 使 用 条 件 变量 (condition 
variable) 。 条 件 变量 顾名思义 是 一 个 或 多 个 线程 等 待 某 个 布尔 表达 式 
为 真 ， 即 等 待 别 的 线程 “唤醒 ” 它 。 条 件 变 量 的 学 名 叫 管 程 

(monitor) 。Java Object 内 置 的 wait()、notify()、notifyAll0 是 条 件 变量 
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条 件 变 量 只 有 一 种 正确 使 用 的 方式 ， 几 乎 不 可 能 用 销 。 对 于 wait 


LU 。 
J 而 。 


1. 必须 与 mutex 一 起 使 用 ， 该 布尔 表达 式 的 读 写 需 受 此 mutex 保 
护 。 

2. 在 mutex 已 上 锁 的 时 候 才 能 调用 wait()。 

3. 把 判断 布尔 条 件 和 waitO 放 到 while 循 环 中 。 


写成 代码 是 : 


muduo: :MutexLock mutex; 
muduo: :Condition cond(mutex); 
std::deque<int> queue; 


int dequeue() 


MutexLockGuard lock(mutex); 
while (queue.empty()) // 必须 用 循环 ; 必须 在 判断 之 后 再 wait() 
{ 


cond.wait(); // 这 一 步 会 原子 地 unlock mutex 并 进入 等 待 ， 不 会 与 enqueue 死 锁 
// wait() 执行 完毕 时 会 自动 重新 加 锁 

} 

assert(!queue.empty()); 

int top = queue.front(); 

queue.pop_front(); 

return top; 


上 面 的 代码 中 必须 用 while 循 环 来 等 待 条 件 变 量 ， 而 不 能 用 if 语 句 ， 
原因 是 spurious wakeup*。 这 也 是 面试 多 线程 编程 的 常见 考点 。 
对 于 signal/broadcast 端 : 


1. 不 一 定 要 在 mutex 已 上 锁 的 情况 下 调用 signal (理论 上 ) 。 

2. 在 signal 之 前 一 般 要 修改 布尔 表达 式 。 

3. 修改 布尔 表达 式 通 常 要 用 mutex 保 护 (至 少 用 作 full memory 
barrier) 。 

4. 注意 区 分 signal 与 broadcast: “broadcast 通 常用 于 表明 状态 变 
化 ，signal 通 常用 于 表示 资源 可 用 。 (broadcast should generally be used 


to indicate state change rather than resource availability。 ) 2” 


写成 代码 是 2: : 
void enqueue(int x) 
MutexLockGuard lock(mutex); 
queue.push_back(x); 
cond.notify(); // 可 以 移出 临界 区 之 外 
} 
上 面 的 dequeue()/enqueue() 实 际 上 实现 了 一 个 简单 的 容量 无 限 的 
(unbounded) BlockingQueue*。 
思考 : enqueue() 中 每 次 添加 元 素 都 会 调用 Condition::notify()， 如 果 
改 成 只 在 queue.size() 从 0 变 1 的 时 候 才 调用 Condition::notify()， 会 出 现 什 
么 后 果 ? 2 


条 件 变量 是 非常 底层 的 同步 原 语 ， 很 少 直接 使 用 ， 一 般 都 是 用 它 
来 实现 高 层 的 同步 措施 ， 如 BlockingQueue<T> 或 CountDownLatch。 

倒计时 (CountDownLatch) # 是 一 种 常用 且 易 用 的 同步 手段 。 它 主 
要 有 两 种 用 途 : 

:主线 程 发 起 多 个 子 线程 ， 等 这 些 子 线程 各 自 都 完成 一 定 的 任务 之 
后 ， 主 线程 才 继 续 执行 。 通 常用 于 主线 程 等 待 多 个 子 线程 完成 初始 
化 。 

:主线 程 发 起 多 个 子 线程 ， 子 线程 都 等 待 主线 程 ， 主 线程 完成 其 他 
一 些 任务 之 后 通知 所 有 子 线程 开始 执行 。 通 常用 于 多 个 子 线程 等 待 主 
线程 发 出 “起 跑 ” 命 令 。 


当然 我 们 可 以 直接 用 条 件 变 量 来 实现 以 上 两 种 同步 。 不 过 如 果 用 
CountDownLatch 的 话 ， 程 序 的 逻辑 更 清晰 。CountDownLatch 的 接口 很 
简单 : 


class CountDownLatch : boost: :noncopyabjle 


{ 
public: 
explicit CountDownLatch(int count); // 倒数 几 次 
void wait(); // 等 待 计 数值 变 为 8 
void countDown() ; // 计数 减 一 
private: 


mutable MutexLock mutex_; 
Condition condition_; 
int count_; 
2 
CountDownLatch 的 实现 同样 简单 ， 几 乎 就 是 条 件 变量 的 教科 书 式 
应 用 : 


// 构造 函数 
void CountDownLatch: :wait() 


MutexLockGuard lock(mutex_); 
while (count_ > 0) 
condition_ .wait(); 


} 
void CountDownLatch: :countDown() 


MutexLockGuard lock(mutex_); 

-~-Count- ; 

if (count_- == 0) 
condition_.notifyAll(); 


注意 到 CountDownLatch::countDown0 使 用 的 是 
Condition::notifyAll()， 而 前 面 此 处 的 enqueue() 使 用 的 是 
Condition::notify()， 这 都 是 有 意 为 之 。 请 读者 思考 ， 如 果 交 换 两 种 用 法 
会 出 现 什 么 情况 ? 

互 斥 器 和 条 件 变量 构成 了 多 线程 编程 的 全 部 必 备 同步 原 语 ， 用 它 
们 即 可 完成 任何 多 线程 同步 任务 ， 二 者 不 能 相互 替代 。* 我 认为 应 该 精 
通 这 两 个 同步 原 语 的 用 法 ， 先 学 会 编写 正确 的 、 安 全 的 多 线程 程序 ， 


再 在 必要 的 时 候 考虑 用 其 他 “高 技术 ”手段 提高 性 能 ， 如 果 确 实 能 提高 
性 能 的 话 。 千 万 不 要 连 mutex 都 还 没 学 会 、 用 好 ， 一 上 来 就 考虑 lock- 


free 设 计 22。 


2.3 ”不 要 用 读 写 锁 和 信号 量 


读 写 锁 (Readers-Writer lock， 简 写 为 rwlock) 是 个 看 上 去 很 美的 抽 
象 ， 它 明确 区 分 了 read 和 write 两 种 行为 。 

初学 者 常 干 的 一 件 事情 是 ， 一 见 到 某 个 共享 数据 结构 频繁 读 而 很 
少 写 ， 就 把 mutex 蔡 换 为 rwlock。 甚 至 首选 rwlock 来 保护 共享 状态 ， 这 
不 见得 是 正确 的 。 


.从 正确 性 方面 来 说 ， 一 种 典型 的 易 犯 错误 是 在 持 有 read lock 的 时 
候 修 改 了 共享 数据 。 这 通常 发 生 在 程序 的 维护 阶段 ， 为 了 新 增 功 能 ， 
程序 员 不 小 心 在 原来 read lock 保 护 的 函数 中 调用 了 会 修改 状态 的 函数 。 
这 种 错误 的 后 果 跟 无 保护 并 发 读 写 共享 数据 是 一 样 的 。 

` 从 性 能 方面 来 说 ， 读 写 锁 不 见得 比 普通 mutex 更 高 效 。 无 论 如 何 
reader lock 加 锁 的 开销 不 会 比 mutex lock 小 ， 因 为 它 要 更 新 当前 reader 的 
数目 。 如 果 临 界 区 很 小 2 ， 锁 竞争 不 激烈 ， 那 么 mutex 往 往 会 更 快 。 见 
8§1.9 的 例子 。 

reader lock 可 能 允许 提升 (upgrade) 为 writer lock， 也 可 能 不 允许 
提升 。 考 虑 8$2.1.1 的 post0 和 traverse0 示 例 ， 如 果 用 读 写 锁 来 保护 foos 
对 象 ， 那 么 post0 应 该 持 有 写 锁 ， 而 traverse0) 应 该 持 有 读 锁 。 如 果 人 允许 
把 读 锁 提 升 为 写 锁 ， 后 果 跟 使 用 recursive mutex 一 样 ， 会 造成 迭代 器 失 
效 ， 程 序 骨 溃 。 如 果 不 允 许 提升 ， 后 果 跟 使 用 non-recursive mutex 一 
样 ， 会 造成 死 锁 。 我 宁愿 程序 死 锁 ， 留 个 “全 性 ”好 查验 。 

:通常 reader lock 是 可 重 入 的 ，writer lock 是 不 可 重 入 的 。 但 是 为 了 
防止 writer 饥 饿 ，writer lock 通 常会 阻塞 后 来 的 reader lock， 因 此 reader 
lock 在 重 入 的 时 候 可 能 死 锁 。 另 外 ， 在 追求 低 延 迟 读 取 的 场合 也 不 适用 
读 写 锁 ， 见 此 处 。 


muduo 线 程 库 有 意 不 提供 读 写 锁 的 封装 ， 因 为 我 还 没有 在 工作 中 明 
到 过 用 rwlock 蔡 换 普 通 mutex 会 显著 提高 性 能 的 例子 。 相 反 ， 我 们 一 般 
建议 首选 mutex。 

遇 到 并 发 读 写 ， 如 果 条 件 合 适 ， 我 通常 会 用 $2.8 的 办 法 ， 而 不 用 读 
写 锁 ， 同 时 避免 reader 被 writer 阻 塞 。 如 果 确 实 对 并 发 读 写 有 极 高 的 性 能 
要 求 ， 可 以 考虑 read-copy-update:。 


信号 量 (Semaphore) : 我 没有 遇 到 过 需要 使 用 信号 量 的 情况 ， 无 
从 谈 及 个 人 经 验 。 我 认为 信号 量 不 是 必 备 的 同步 原 语 ， 因 为 条 件 变 量 
配合 互 斥 器 可 以 完全 替代 其 功能 ， 而 且 更 不 易 用 错 。 除 了 [RWC] 指 出 
的 “semaphore has no notion of ownership” 之 外 ， 信 和 号 量 的 另 一 个 问题 在 
于 它 有 自己 的 计数 值 ， 而 通常 我 们 自己 的 数据 结构 也 有 长 度 值 ， 这 就 
造成 了 同样 的 信息 存 了 两 份 ， 需 要 时 刻 保持 一 致 ， 这 增加 了 程序 员 的 
负担 和 出 错 的 可 能 。 如 果 要 控制 并 发 度 ， 可 以 考虑 用 
muduo::ThreadPool。 

说 一 句 不 知 天 高 地 厚 的话 ， 如 果 程 序 里 需要 解决 如 “哲学 家 就 餐 ” 
之 类 的 复杂 IPC 问 题 ， 我 认为 应 该 首先 检讨 这 个 设计 : 为 什么 线程 之 间 
会 有 如 此 复杂 的 资源 争 抢 (一 个 线程 要 同时 抢 到 两 个 资源 ， 一 个 资源 
可 以 被 两 个 线程 争夺 ) ? 如 果 在 工作 中 遇 到 ， 我 会 把 “ 想 吃 饭 * 这 个 事 
情 专 门 交 给 一 个 为 各 位 哲学 家 分 派 餐具 的 线程 来 做 ， 然 后 每 个 哲学 家 
等 在 一 个 简单 的 condition variable 上 ， 到 时 间 了 有 人 通知 他 去 吃饭 。 从 
哲学 上 说 ， 教 科 书 上 的 解决 方案 是 平权 ， 每 个 哲学 家 有 自己 的 线程 ， 
自己 去 拿 筷子 ; 我 宁愿 用 集权 的 方式 ， 用 一 个 线程 专门 管 餐 具 的 分 
配 ， 让 其 他 哲学 家 线程 拿 个 号 等 在 食堂 门口 好 了 。 这 样 不 损失 多 少 交 
率 ， 却 让 程序 简单 很 多 。 虽 然 windows 的 WaitForMultipleObjects 让 这 个 
问题 trivial 化 ， 但 在 Linux 下 正确 模拟 WaitForMultipleObjects 不 是 普通 程 
序 员 该 干 的 。 

Pthreads 还 提供 了 barrier 这 个 同步 原 语 ， 我 认为 不 如 
CountDownLatch 实 用 。 


2.4 封装 MutexLockk、MutexLockGuardd、 
Condition 


本 节 把 前 面 用 到 的 MutexLock、MutexLockGuard、Condition 等 class 
的 代码 列 出 来 ， 前 面 两 个 class 没 多 大 难度 ， 后 面 那个 有 点 意思 。 这 几 
个 class 都 不 允许 拷贝 构造 和 赋值 。 完 整 代码 可 以 在 muduo/base 找到 。 
MutexLock 和 MutexLockGuard 这 两 个 class 应 该 能 在 纸 上 默 写 出 来 ， 
没有 太 多 需要 解释 的 。MutexLock 的 附加 值 在 于 提供 了 
isLockedByThisThread() 遂 数 ， 用 于 程序 断言 。 它 用 到 的 
CurrentThread::tid0 国 数 将 在 $4.3 介 绍 。 


class MutexLock : boost::noncopyable 


{ 
public: // 为 了 节省 版 面 ， 单 行 函数 都 没有 正确 缩 进 

MutexLock() 
: holder_(0) 

{ pthread_mutex_init(&mutex_, NULL); } 

~MutexLock() 

{ 
assert(holder_ == 0); 
pthread_mutex_destroy(&mutex_) ; 

} 

bool isLockedByThisThread() 

{ return holder_ == CurrentThread::tid(); } 


void assertLocked() 
{ assert(isLockedByThisThread()); } 


void lock() // 仅 供 MutexLockGuard 调用 ， 严 禁用 户 代码 调用 
{ 
pthread_mutex_lock(&mutex_); // 这 两 行 顺 序 不 能 反 
holder_ = CurrentThread: :tid(); 


void unlock()  // 仅 供 MutexLockGuard 调用 ， 严 禁用 户 代 码 调用 


holder_ = 0; // 这 两 行 顺 序 不 能 反 
pthread_mutex_unlock(C&mutex_) ; 


} 


pthread_mutex_tx getPthreadMutex() // 仅 供 Condition 调用 ， 严 禁用 户 代 码 调用 
{ return &mutex_; } 


private: 

pthread_mutex_t mutex_; 
pid_t holder_; 

}; 


class MutexLockGuard : boost::noncopyable 


€ 
public: 
explicit MutexLockGuard(MutexLock& mutex) 
: mutex_(mutex) 
{ mutex: zlockt): 3 


~MutexLockGuard() 
{ mutex_.unlock(); } 


private: 
MutexLock& mutex_; 


3 
#define MutexLockGuard(x) static_assert(false, "missing mutex guard var name") 
注意 上 面 代 码 的 最 后 一 行 定义 了 一 个 宏 ， 这 个 宏 的 作用 是 防止 程 
序 里 出 现 如 下 错误 : 
void doit() 
MutexLockGuard(mutex); // 遗漏 变量 名 ， 产 生 一 个 临时 对 象 又 马上 销毁 了 ， 


// 结果 没有 锁 住 临界 区 。 
// 正确 写法 是 MutexLockGuard lock(mutex); 


// 临界 区 
} 


我 见 过 有 人 把 MutexLockGuard 写 成 template， 我 没有 这 么 做 是 因为 
它 的 模板 类 型 参数 只 有 MnutexLock 一 种 可 能 ， 没 有 必要 随意 增加 灵活 
性 ， 于 是 我 手工 把 模板 具 现 化 (instantiate) 了 。 此 外 一 种 更 激进 的 写 
法 是 ， 把 lock/unlock 放 到 private 区 ， 然 后 把 MutexLockGuard 设 为 


MnutexLock 的 friend。 我 认为 在 注释 里 告知 程序 员 即 可 ， 另 外 check-in 之 
前 的 code review 也 很 容易 发 现 误 用 的 情况 (grep getPthreadMutex) 。 
这 段 代 码 没有 达到 工业 强度 : 


:mutex 创 建 为 PTHREAD_MUTEX_DEFAULT 类 型 ， 而 不 是 我 们 预 
想 的 PTHREAD_MUTEX_NORMAL 类 型 (实际 上 这 二 者 很 可 能 是 等 同 
的 ) ， 严 格 的 做 法 是 用 mutexattr 来 显示 指定 mutex 的 类 型 。 

:没有 检查 返回 值 。 这 里 不 能 用 assert() 检 查 返 回 值 ， 因 为 assertO 在 
release build 里 是 空 语 句 。 我 们 检查 返回 值 的 意义 在 于 防止 ENOMEM 之 
类 的 资源 不 足 情况 ， 这 一 般 只 可 能 在 负载 很 重 的 产品 程序 中 出 现 。 一 
旦 出 现 这 种 错误 ， 程 序 必须 立刻 清理 现场 并 主动 退出 ， 否 则 会 莫名 其 
妙 地 崩溃 ， 给 事后 调查 造成 困难 。 这 里 我 们 需要 non-debug 的 assert， 或 
许 google-glog 的 CHECKO 宏 是 个 不 错 的 思路 。 


以 上 两 点 改进 留 作 练习 。 

muduo 库 的 一 个 特点 是 只 提供 最 常用 、 最 基本 的 功能 ， 特 别 有 意 避 
免 提 供 多 种 功能 近似 的 选择 。muduo 不 是 “杂货 铺 ”， 不 会 不 分 青 红 皇 白 
地 把 各 种 有 用 的 、 没 用 的 功能 全 铺 开 摆 出 来 。muduo 删 繁 就 简 ， 举 重 若 
轻 ; 减少 选择 余地 ， 生 活 更 简单 。MutexLock 没 有 提供 trylockO 函 数 ， 
因为 我 没有 在 生成 代码 中 用 过 它 。 我 想 不 出 什么 时 候 程 序 需要 “ 试 着 去 
锁 一 锁 ”， 或 许 我 写 过 的 代码 太 简 单 了 2。 

Condition class 的 实现 有 点 意思 。 Pthreads condition variable 人 允许 在 
wait() 的 时 候 指 定 mutex， 但 是 我 想 不 出 有 什么 理由 一 个 condition 
variable 会 和 不 同 的 mutex 配 合 使 用 。Java 的 intrinsic condition 和 Condition 
class 都 不 支持 这 么 做 ， 因 此 我 觉得 可 以 放弃 这 一 灵活 性 ， 老 老实 实地 
二 对 二 好 了 % 

相反 ，boost::thread 的 condition_variable 是 在 wait 的 时 候 指 定 
mutex， 请 参观 其 同步 原 语 的 庞杂 设计 : 


-Concept 有 四 种 Lockable、TimedLockable、SharedLockable、 
UpgradeLockable。 

.Lock 有 六 种 : lock_guard、unique_lock、shared_lock、 
upgrade_lock、 upgrade to_unique lock、 scoped_try_lock。 

.Mutex 有 七 种 : mutex、 try_mutex、timed_mutex、 
recursive_mutex、 recursive try_mutex、recursive_timed_mutex、 
shared_mutexo 


恕 我 轧 钝 ， 见 到 boost::thread 这 样 如 Rube Goldberg Machine 一 样 让 
人 眼花 红 乱 的 库 ， 我 只 得 三 担 绕 道 而 行 。 很 不 痒 C++11 的 线程 库 也 采纳 
了 这 和 套 方案 。 这 些 class 名 字 也 很 无 悍 头 ， 为 什么 不 老 老 实 实 用 
readers_writer lock 这 样 的 通俗 名 字 呢 ? 非得 增加 精神 负担 ， 自 己 发 明 
新 名 字 。 我 不 愿 为 这 样 的 灵活 性 付出 代价 ， 宁 愿 自 己 做 几 个 简 简 单单 
的 一 看 就 明白 的 class 来 用 ， 这 种 简单 的 几 行 代码 的 “轮子 ” 造 造 也 无 妨 。 
提供 灵活 性 固然 是 本 事 ， 然 而 在 不 需要 灵活 性 的 地 方 把 代码 写 死 ， 更 
需要 大 智慧 。 

下 面 这 个 muduo::Condition class 简 单 地 封装 了 Pthreads condition 
variable， 用 起 来 也 容易 ， 见 本 节 前 面 的 例子 。 这 里 我 用 notify/notifyAll 
作为 水 数 名 ， 因 为 signal 有 别 的 含义 ，C++ 里 的 signal/slot、C 里 的 
signalhandler 等 等 。 就 别 overload 这 个 术语 了 。 


class Condition : boost: :noncopyable 


{ 
public: // 为 了 节省 版 面 ， 单 行 函数 没有 正确 缩 进 
explicit Condition(MutexLock& mutex) 
: mutex_(mutex) 
{ pthread_cond_init(&pcond_, NULL); } 


~Condition() { pthread_cond_destroy(&pcond_); } 

void wait() { pthread_cond_wait(&pcond_, mutex_.getPthreadMutex()); } 
void notify() { pthread_cond_signal(&pcond_); } 

void notifyAll() { pthread_cond_broadcast(&pcond_); } 


private: 
MutexLock& mutex_; 
pthread_cond_t pcond_; 


如 果 一 个 class 要 包含 MutexLock 和 Condition， 请 注意 它们 的 声明 顺 
序 和 初始 化 顺序 ，mutex_ 应 先 于 condition_ 构造， 并 作为 后 者 的 构造 参 
数 : 
class CountDownLatch 


{ 
public: 
CountDownLatch(int count) 
: mutex_() ， 
condition_(mutex_) ， // 初始 化 顺序 要 与 成 员 声 明 保 持 一 臻 
count_(count) 


Eo 


private: 
mutable MutexLock mutex_; // 顺序 很 重要 ， 先 mutex 后 condition 
Condition condition_; 
nt Countie.s 

}; 

请 允许 我 再 次 强调 ， 虽 然 本 章 花 了 大 量 篇 幅 介 绍 如 何 正 确 使 用 
mutex 和 condition variable， 但 并 不 代表 我 鼓励 到 处 使 用 它们 。 这 两 者 都 
是 非常 底层 的 同步 原 语 ， 主 要 用 来 实现 更 高 级 的 并 发 编程 工具 。 一 个 
多 线程 程序 里 如 果 大 量 使 用 mutex 和 condition variable 来 同步 ， 基 本 跟 用 
铅笔 刀 锯 大 树 ( 孟 宕 语 ) 没 哈 区 别 。 


在 程序 里 使 用 Pthreads 库 有 一 个 额外 的 好 处 : 分 析 工 具 认 得 它们 ， 
懂得 其 语意 。 线 程 分 析 工 具 如 Intel Thread Checker 和 Valgrind-Helgrinda 
等 能 识别 Pthreads 调 用 ， 并 依据 happens-before 关 系 关 分 析 程 序 有 无 data 


ITqCeo 


2.5 ”线程 安全 的 Singleton 实 现 


研究 Singleton 的 线程 安全 实现 的 历史 会 发 现 很 多 有 意思 的 事情 ， 人 
们 一 度 认 为 double checked locking (缩写 为 DCL) 是 王道 =， 兼 顾 了 效 
率 与 正确 性 。 后 来 有 “ 神 牛 ”指出 由 于 乱 序 执行 的 影响 ，DCL 是 靠不住 
的 sza。Java 开 发 者 还 算 幸 运 ， 可 以 借助 内 部 静态 类 的 装载 来 实现 。 
C++ 就 比较 惨 ， 要 么 次 次 锁 ， 要 么 eager initialize， 或 者 动用 memory 
barrier 这 样 的 “大 杀 器 ”aa。 接 下 来 Java 5 修订 了 内 存 模型 ， 并 给 volatile 赋 
予 了 acquire/release 语 义 ， 这 下 DCL (with volatile) 又 是 安全 的 了 。 然 
而 C++ 的 内 存 模型 还 在 修订 中 2，C++ 的 volatile 目 前 还 不 能 (将 来 也 难 
说 ) 保证 DCL 的 正确 性 (只 在 Visual C++ 2005 及 以 上 版 本 有 效 ) 。 

其 实 没 那么 麻烦 ， 在 实践 中 用 pthread_once 就 行 : 


muduo/base/Singleton.h 
template<typename T> 
class Singleton : boost::noncopyable 
{ 
public: 
static T& instance() 
T 
pthread_once(&ponce_, &Singleton::init); 
return x*value_; 


private: 
Singleton(); 
~Singleton(); 


static void init() 
value_ = new T(); 


} 


private: 
static pthread_once_t ponce_; 
static Tx value_; 


姑 


// 必须 在 头 文件 中 定义 static 变量 
template<typename T> 
pthread_once_t Singleton<T>: :ponce_ = PTHREAD_ONCE_INIT; 


template<typename T> 
Tx Singleton<T>: :value_ = NULL ; 


muduo/base/Singleton.h 


上 面 这 个 Singleton 没 有 任何 花哨 的 技巧 ， 它 用 pthread_once_t 来 保 
证 lazy-initialization 的 线程 安全 。 线 程 安全 性 由 Pthreads 库 保证 ， 如 果 系 
统 的 Pthreads 库 有 bug， 那 就 认命 吧 ， 多 线程 程序 反正 也 不 可 能 正确 执 
行 了 。 

使 用 方法 也 很 简单 : 
Foo& foo = Singleton<Foo>: :instance():; 

这 个 Singleton 没 有 考虑 对 象 的 销毁 。 在 长 时 间 运 行 的 服务 器 程序 
里 ， 这 不 是 一 个 问题 ， 反 正 进程 也 不 打算 正常 退出 (89.2.2) 。 在 短期 
运行 的 程序 中 ， 程 序 退 出 的 时 候 自然 就 释放 所 有 资源 了 (前 提 是 程序 
里 不 使 用 不 能 由 操作 系统 自动 关闭 的 资源 ， 比 如 跨 进程 的 mutex) 。 在 


实际 的 muduo::Singleton class 中 ， 通 过 atexit(3) 提 供 了 销毁 功能 4， 聊 胜 
于 无 雪 了 。 

另外 ， 这 个 Singleton 只 能 调用 默认 构造 水 数 ， 如 果 用 户 想 要 指定 T 
的 构造 方式 ， 我 们 可 以 用 模板 特 化 (template specialization) 技术 来 提 
供 一 个 定制 点 ， 这 需要 引入 另 一 层 间接 (another level of indirection) 。 


2.6 ”sleep(3) 不 是 同步 原 语 


我 认为 sleep(O/usleep(/nanosleep0O 只 能 出 现在 测试 代码 中 ， 比 如 写 
单元 测试 的 时 候 s， 或 者 用 于 有 意 延 长 临界 区 ， 加 速 复 现 死 锁 的 情况 ， 
就 像 82.1.2 示 范 的 那样 。sleep 不 具备 memory barrier 语 义 ， 它 不 能 保证 内 
存 的 可 见 性 ， 见 此 处 的 例子 。 

生产 代码 中 线程 的 等 待 可 分 为 两 种 : 一 种 是 等 待 资源 可 用 (要 么 
等 在 select/poll/epoll_wait 上 ， 要 么 等 在 条 件 变量 上 4s) ; 一 种 是 等 着 进 
入 临界 区 (等 在 mutex 上 ) 以 便 读 写 共享 数据 。 后 一 种 等 待 通常 极 短 ， 
否则 程序 性 能 和 伸缩 性 就 会 有 问题 。 

在 程序 的 正常 执行 中 ， 如 果 需 要 等 待 一 段 已 知 的 时 间 ， 应 该 往 
event loop 里 注册 一 个 timer， 然 后 在 timer 的 回调 函数 里 接着 干 活 ， 因 为 
线程 是 个 珍贵 的 共享 资源 ， 不 能 轻易 浪费 (阻塞 也 是 浪费 ) 。 如 果 等 
待 某 个 事件 发 生 ， 那 么 应 该 采用 条 件 变量 或 IO 事件 回调 ， 不 能 用 sleep 
来 轮 询 。 不 要 使 用 下 面 这 种 业余 做 法 : 
while (true) { 

if (ldataAvailable) 
sleep(some_time); 


else 
consumeData(); 


如 果 多 线程 的 安全 性 和 效率 要 靠 代 码 主 动 调用 sleep 来 保证 ， 这 显 
然 是 设计 出 了 问题 。 等 待 某 个 事件 发 生 ， 正 确 的 做 法 是 用 select() 等 价 
物 或 Condition， 抑 或 (更 理想 地 ) 高 层 同步 工具 ; 在 用 户 态 做 轮 询 
(polling) 是 低 效 的 。 


2.7 “归纳 与 总 结 
前 面 几 节 内 容 归 纳 如 下 : 


:线程 同步 的 四 项 原则 ， 尽 量 用 高 层 同步 设施 (线程 池 、 队 列 、 倒 
计时 ) ， 

使 用 普通 互 斥 器 和 条 件 变 量 完 成 剩余 的 同步 任务 ， 采 用 RAII 惯 用 
手法 (idiom) 和 Scoped Locking。 


用 好 这 几 样 东西 ， 基 本 上 就 能 应 付 多 线程 服务 端 开发 的 各 种 场 
合 。 或 许 有 人 会 觉得 性 能 没有 发 挥 到 极致 。 我 认为 ， 应 该 先 把 程序 写 
正确 〈 并 尽量 保持 清晰 和 简单 ) ， 然 后 再 考虑 性 能 优化 ， 如 果 确 实 还 
有 必要 优化 的 话 。 这 在 多 线程 下 仍然 成 立 。 让 一 个 正确 的 程序 变 快 ， 
远 比 “让 一 个 快 的 程序 变 正 确 ” 容 易 得 多 。 

在 现代 的 多 核 计 算 背 景 下 ， 多 线程 是 不 可 避免 的 。 尽 管 在 一 定 程 
度 上 可 以 通过 framework 来 屏 菩 ， 让 你 感觉 像 是 在 写 单 线程 程序 ， 比 如 
Java Servlet。 了解 under the hood 发 生 了 什么 对 于 编写 这 种 程序 也 会 有 帮 
助 。 

多 线程 编程 是 一 项 重要 的 个 人 技能 ， 不 能 因为 它 难 就 本 能 地 排 
斥 ， 现 在 的 软件 开发 比 起 10 年 、20 年 前 已 经 难 了 不 知道 多 少 倍 。 掌 握 
多 线程 编程 ， 才 能 更 理智 地 选择 用 还 是 不 用 多 线程 ， 因 为 你 能 预 估 多 
线程 实现 的 难度 与 收益 ， 在 一 开始 做 出 正确 的 选择 。 要 知道 把 一 个 单 
线程 程序 改 成 多 线程 的 ， 往 往 比 从 头 实现 一 个 多 线程 的 程序 更 困难 。 
要 明白 多 线程 编程 中 哪些 是 能 做 的 ， 哪 里 是 一 般 程 序 员 应 该 避 开 的 雷 
区 。 

掌握 同步 原 语 和 它们 的 适用 场合 是 多 线程 编程 的 基本 功 。 以 我 的 
经 验 ， 熟 练 使 用 文中 提 到 的 同步 原 语 ， 就 能 比较 容易 地 编写 线程 安全 
的 程序 。 本 文 没 有 考虑 signal 对 多 线程 编程 的 影响 (8§4.10) ，Unix 的 
signal 在 多 线程 下 的 行为 比较 复杂 ， 一 般 要 靠 底层 的 网 络 库 (如 
Reactor) 加 以 屏蔽 ， 避 免 干扰 上 层 应 用 程序 的 开发 。 


通 篇 来 看 , “效率 ”并 不 是 我 的 主要 考虑 点 ， 我 提倡 正确 加 锁 而 不 
是 自己 编写 lock-free 算 法 (使 用 原子 整数 除外 ) ， 更 不 要 想当然 地 自己 
发 明 同 步 设施 4。 在 没有 实测 数据 支持 的 情况 下 ， 妥 谈 哪 种 做 法 效率 更 
高 是 靠不住 的 ss， 不 能 听信 传言 或 赁 感觉 “优化 ”"。 很 多 人 误 认 为 用 锁 会 
让 程序 变 慢 ， 其 实 真 正 影响 性 能 的 不 是 锁 ， 而 是 锁 争 用 (lock 
contention) s。 在 程序 的 复杂 度 和 性 能 之 前 取得 平衡 ， 并 考虑 未 来 两 三 
年 扩容 的 可 能 (无 论 是 CPU 变 快 、 核 数 变 多 ， 还 是 机 器 数量 增加 、 网 
络 升级 ) 。 我 认为 在 分 布 式 系统 中 ， 多 机 伸缩 性 (scale out) 比 单机 的 
性 能 优化 更 值得 投入 精力 。 

本 章 内 容 记 录 了 我 目前 对 多 线程 编程 的 理解 ， 用 文中 介绍 的 手 
法 ， 我 能 化 繁 为 简 ， 编 写 容 易 验证 其 正确 性 的 多 线程 程序 ， 解 决 自 己 
面临 的 全 部 多 线程 编程 任务 。 如 果 本 章 的 观点 与 你 的 经 验 不 合 ， 比 如 
你 使 用 了 我 没有 推荐 使 用 的 技术 或 手法 (共享 内 存 、 信 号 量 等 等 ) ， 
只 要 你 理由 充分 ， 但 行 无 妨 。 


2.8” 借 shared_ptr 实 现 copy-on-write 
本 节 解 决 32.1 的 几 个 未 决 问题 : 


“82.1.1post() 和 traverse() 死 锁 。 
“82.1.2 把 Request::print0 移 出 Inventory::printAll0) 临 界 区 。 
`§2.1.2 解 决 Request 对 象 析 构 的 race condition。 


然后 再 示 光 用 普通 mutex 蔡 换 读 写 锁 。 解 决 办 法 都 基于 同一 个 思 
路 ， 那 就 是 用 shared_ptr 来 管理 共享 数据 。 原 理 如 下 : 


:shared_ptr 是 引用 计数 型 智能 指针 ， 如 果 当 前 只 有 一 个 观察 者 ， 那 
么 引用 计数 的 值 为 12。 

:对 于 write 端 ， 如 果 发 现 引 用 计数 为 1， 这 时 可 以 安全 地 修改 共享 对 
象 ， 不 必 担 心 有 人 正在 读 它 。 


.对 于 read 端 ， 在 读 之 前 把 引用 计数 加 1， 读 完 之 后 减 1， 这 样 保证 
在 读 的 期 间 其 引用 计数 大 于 1， 可 以 阻止 并 发 写 。 

比较 难 的 是 ， 对 于 write 端 ， 如 果 发 现 引 用 计数 大 于 1， 该 如 何 处 
理 ? sleep() 一 小 段 时 间 肯 定 是 错 的 。 


先 来 看 一 个 简单 的 例子 ， 解 决 $32.1.1 中 的 post0 和 traverseO) 死 锁 。 大 
数据 结构 改 成 : 
typedef std::vector<Foo> FooList; 
typedef boost: :shared_ptr<FooList> FooListPtr; 


MutexLock mutex; 
FooListPtr g_foos: 


在 read 端 ， 用 一 个 栈 上 局 部 FooListPtr 变 量 当 做 “观察 者 "， 它 使 得 
g_foos 的 引用 计数 增加 (L6)。traverse0O) 国 数 的 临界 区 是 L4~L8， 临 界 区 
内 只 读 了 一 次 共享 变量 g_foos (这 里 多 线程 并 发 读 写 shared_ptr， 因 此 
必须 用 mutex 保 护 ) ， 比 原来 的 写法 大 为 缩短 。 而 且 多 个 线程 同时 调用 
traverse() 也 不 会 相互 阻塞 。 


1 void traverse() 

2 

3 FooListPtr foos; 

4 

5 MutexLockGuard lock(mutex); 

6 foos = g_foos; 

7 assert(!g_foos.unique()); 

8 } 

9 

10 // assert(!foos.unique()); 这 个 断言 不 成 立 
11 for (std::vector<Foo>::const_iterator it = foos->begin(); 
12 it != foos->end(); ++it) 

13 

14 i1t=>001t(0): 

15 } 

i6: 


关键 看 write 端 的 post() 该 如 何 写 。 按 照 前 面 的 描述 ， 如 果 
g_foos.unique() 为 tue， 我 们 可 以 放心 地 在 原 地 (in-place) 修改 


FooList。 如 果 g_foos.unique() 为 false， 说 明 这 时 别 的 线程 正在 读 取 
FooList， 我 们 不 能 原 地 修改 ， 而 是 复制 一 份 (L23) ， 在 副本 上 修改 
(L27) 。 这 样 就 避免 了 死 锁 。 


17 void post(const Foo& f) 


18 { 

19 printf("post\n”"); 

20 MutexLockGuard lock(mutex); 

21 if (!g_foos.unique()) 

22 { 

23 g_foos.reset(new FooList(x*g_foos)) ; 
24 printf("copy the whole list\n"); // 练习 : 将 这 句 话 移出 临界 区 
25 } 

26 assert(g_foos.unique()); 

27 g_foos->push_back (f); 

28 } 


注意 这 里 临界 区 包括 整个 水 数 (L20~L27) ， 其 他 写法 都 是 错 
的 。 读 者 可 以 试 着 运行 这 个 程序 ， 看 看 什么 时 候 会 打印 L24 的 消息 。 练 
习 : 找 出 以 下 几 种 写法 的 错误 。 


// 错误 一 : 直接 修改 g_foos 所 指 的 FooList 
void post(const Foo& f) 


{ 
MutexLockGuard lock(mutex); 


g_foos->push_back (f) ; 
} 


// 错误 二 : 试图 缩小 临界 区 ， 把 copying 移出 临界 区 
void post(const Foo& f) 
{ 


FooListPtr newFoos(new FooList(*g_foos) ); 
newFoos->push_back(f ) ; 

MutexLockGuard lock(mutex); 

g_foos = newFoos; // 或 者 g_foos.swap(newFoos) ; 


} 


// 错误 三 : 把 临界 区 拆 成 两 个 小 的 ， 把 copying 放 到 临界 区 之 外 
void post(const Foo& 上 了) 


FooListPtr oldFoos; 


{ 
MutexLockGuard lock(mutex); 


oldFoos = g_foos; 


} 


FooListPtr newFoos(new FooList(*oldFoos)).; 
newFoos->push_back(f); 

MutexLockGuard lock(mutex); 

g_foos = newFoos; // 或 者 g_foos.swap(newFoos); 


望 读者 先 吃透 上 面 举 的 这 个 例子 ， 再 来 看 如 何 用 相同 的 思路 解 
决 剩 下 的 问题 。 
解决 82.1.2 把 Request::print0 移 出 Inventory::printAll() 临 界 区 有 两 个 
做 法 。 其 一 很 简单 ， 把 requests_ 复制 一 份 ， 在 临界 区 之 外 遍历 这 个 副 
本 。 


void Inventory: :printAl1() const 


std: :Set<Redquestx> requests 


{ 


muduo: :MutexLockGuard lock(mutex_); 
requests = requests._.; 


} 


// 遍历 局 部 变量 requests， 调 用 Request::print() 
} 


这 么 做 有 一 个 明显 的 缺点 ， 它 复制 了 整个 std::set 中 的 每 个 元 素 ， 开 
销 可 能 会 比较 大 。 如 果 遍 历 期 间 没 有 其 他 人 修改 requests_， 那 么 我 们 可 
以 减 小 开销 ， 这 就 引出 了 第 二 种 做 法 。 

第 二 种 做 法 的 要 点 是 用 shared_ptr 管 理 std::set， 在 遍历 的 时 候 先 增 
加 引用 计数 ， 阻 止 并 发 修改 。 当 然 Inventory::addO 和 Inventory::remove() 
也 要 相应 修改 ， 采 用 本 节 前 面 post0 和 traverse0) 的 方案 。 完 整 的 代码 见 
recipes/thread/test/Request-Inventory test.cc 。 

注意 目前 的 方案 仍然 没有 解决 Request 对 象 析 构 的 race condition ， 

这 点 还 是 留 作 练习 吧 。 一 种 可 能 的 答案 见 
recipes/thread/test/Requestinventory test2.co 


用 普通 mutex 蔡 换 读 写 锁 的 一 个 例子 


景 : 一 个 多 线程 的 C++ 程序 ，24h x 5.5d 运 行 。 有 几 个 工作 线程 
ThreadWorker{0, 1, 2, 3}， 处 理 客户 发 过 来 的 交易 请 求 ， 另 外 有 一 个 背 
景 线 程 ThreadBackground， 不 定期 更 新 程序 内 部 的 参考 数据 。 这 些 线程 
都 跟 一 个 hash 表 打交道 ， 工 作 线程 只 读 ， 背 景 线程 读 写 ， 必 人 然 要 用 到 一 
些 同步 机 制 ， 防 止 数据 损坏 。 这 里 的 示例 代码 用 std::map 代 替 hash 表 ， 
意思 是 一 样 的 : 
using namespace std; 
typedef map<string, vector<pair<string, int> > > Map; 

Map 的 key 是 用 户 名 ，value 是 一 个 vector， 里 边 存 的 是 不 同 stock 的 
最 小 交易 间隔 ，vector 已 经 排 好 序 ， 可 以 用 二 分 查找 。 


我 们 的 系统 要 求 工作 线程 的 延迟 尽 可 能 小 ， 可 以 容忍 背景 线程 的 
延迟 略 大 。 一 天 之 内 ， 背 景 线程 对 数据 更 新 的 次 数 屈指 可 数 ， 最 多 一 
小 时 一 次 ， 更 新 的 数据 来 自 于 网 络 ， 所 以 对 更 新 的 及 时 性 不 敏感 。Map 
的 数据 量 也 不 大 ， 大 约 一 千 多 条 数据 。 

最 简单 的 同步 办 法 是 用 读 写 锁 : 工作 线程 加 读 锁 ， 背 景 线程 加 写 
锁 。 但 是 读 写 锁 的 开销 比 普通 mutex 要 大 ， 而 且 是 写 锁 优先 ， 会 阻塞 后 
面 的 读 锁 。 如 果 工 作 绪 程 能 用 最 普通 的 非 重 入 mutex 实 现 同步 ， 就 不 必 
用 读 写 锁 ， 这 能 降低 工作 线程 延迟 。 我 们 借助 Shared_ptr 做 到 了 这 一 
点 : (recipes/thread/test/Customer.cc ) 


class CustomerData : boost::noncopyable 


{ 
public: 
CustomerData() : data_(new Map) 


过 


int query(const string& customer, const String& stock) const ; 


private: 
typedef std::pair<string, int> Entry; 
typedef std: :vector<Entry> EntryList; 
typedef std::map<string, EntryList> Map; 
typedef boost::shared_ptr<Map> MapPtr; 
void update(const string& customer, const EntryList& entries); 


// 用 lower_bound 在 entries 里 找 stock 
static int findEntry(const EntryList& entries, const string& stock); 


MapPtr getData() const 


MutexLockGuard lock (mutex_); 
return data_; 


} 


mutable MutexLock mutex_; 
MapPtr data_; 
4 


CustomerData::query0O 就 用 前 面 说 的 引用 计数 加 1 的 办 法 ， 用 局 部 
MapPtr data 变 量 来 持 有 Map， 防 止 并 发 修改 。 


int CustomerData: :query(const string& customer, const string& stock) const 


{ 
MapPtr data = getData(); 
// data 一 旦 拿 到 ， 就 不 再 需要 锁 了 。 
// 取 数 据 的 时 候 只 有 getData() 内 部 有 锁 ， 多 线程 并 发 读 的 性 能 很 好 。 


Map: :const_iterator entries = data->find(customer); 
if (entries != data->end()) 

return findEntry(entries->second, stock); 
else 

retorn =1; 


关键 看 CustomerData::update() 怎 么 写 。 有 既然 要 更 新 数据 ， 那 肯定 得 
加 锁 ， 如 果 这 时 候 其 他 绪 程 正在 读 ， 那 么 不 能 在 原来 的 数据 上 修改 ， 
得 创建 一 个 副本 ， 在 副本 上 修改 ， 修 改 完了 再 替换 。 如 果 没 有 用 户 在 
读 ， 那 么 就 能 直接 修改 ， 节 约 一 次 Map 拷 贝 。 


// 每 次 收 到 一 个 customer 的 数据 更 新 
void CustomerData: :update(const string& customer, const EntryList& entries) 


{ 
MutexLockGuard lock(mutex_); ”// update 必须 全 程 持 锁 
if (!data_.unique()) 


{ 
MapPtr newData(new Map(*data_)); 
// 在 这 里 打印 日 志 ， 然 后 统计 日 志 来 判断 worst case 发 生 的 次 数 
data_. swap(newData); 


} 
assert(data_.unique()); 
(x*data_)[customer] = entries; 


注意 其 中 用 了 shared_ptr::unique() 来 判断 是 不 是 有 人 在 读 ， 如 果 有 
人 在 读 ， 那 么 我 们 不 能 直接 修改 ， 因 为 query0 并 没有 全 程 加 锁 ， 只 在 
getData() 内 部 有 锁 。shared_ptr::swap0 把 data_ 替换 为 新 副本 ， 而 且 我 们 
还 在 锁 里 ， 不 会 有 别 的 线程 来 读 ， 可 以 放心 地 更 新 。 如 果 别 的 reader 线 
程 已 经 刚刚 通过 getData0 拿 到 了 MapPtr， 它 会 读 到 稍 旧 的 数据 。 这 不 是 
问题 ， 因 为 数据 更 新 来 自 网 络 ， 如 果 网 络 稍 有 延迟 ， 反 正 reader 线 程 也 
会 读 到 旧 的 数据 。 

如 果 每 次 都 更 新 全 部 数据 ， 而 且 始 终 是 在 同一 个 线程 更 新 数据 ， 
临界 区 还 可 以 进一步 缩小 。 


MapPtr parseData(const string& message); // 解析 收 到 的 消息 ， 返 回 新 的 MapPtr 


// 函数 原型 有 变 ， 此 时 网 络 上 传 来 的 是 完整 的 Map 数据 


void CustomerData: :update(const string& message) 


{ . 
// 解析 新 数据 ， 在 临界 区 之 外 
MapPtr newData = parseData(message); 
if (newData) 


MutexLockGuard lock(mutex_); 
data_.swap(newData); // 不 要 用 data_ = newData; 


} 
// 旧 数 据 的 析 构 也 在 临界 区 外 ， 进 一 步 缩短 了 临界 区 


据 我 们 测试 ， 大 多 数 情 况 下 更 新 都 是 在 原来 数据 上 进行 的 ， 拷 贝 
的 比例 还 不 到 1% ， 很 高 效 。 更 准确 地 说 ， 这 不 是 copy-on-write， 而 是 
copy-on-other-readingo 

我 们 将 来 可 能 会 采用 无 锁 数 据 结构 ， 不 过 目前 这 个 实现 已 经 非常 
好 ， 可 以 满足 我 们 的 要 求 。 

本 节 介 绍 的 做 法 与 read-copy-update 颇 有 相似 之 处 ， 但 理解 起 来 要 


容易 得 多 。 


注释 


Parallel Virtual Machine 似 乎 已 经 退出 主流 HPC 了 。 


工 
2 ”教程 可 参考 : https://computing.llnl.gov/tutorials/pthreads 。 
3 [RWC]: Use wait- and lock-free structures only if you absolutely must. 


4 
http://wwwthinkingparallel.com/2007/02/19/please-dont-rely-on-memory-barriers-for-synchronization/ 


5 http://zaitcev.livejournal.com/144041.html 
http://www.kernel.org/doc/Documentation/volatile-considered-harmful.txt 


6 ”请 注意 ， 本 书 谈 的 是 Pthreads 里 的 mutex， 不 是 Windows 里 的 重量 级 跨 进 程 Mutex 内 核对 
象 。 
见 Douglas Schmidt 的 论文 : http://www.cswustl.edu/~schmidt/PDF/locking-patterns.pdf 。 
gdb 中 使 用 thread apply all bt 命令 。 
另 一 方面 支持 了 “图 数 不 要 写 得 过 长 ”这 一 观点 。 
http://zaval.org/resources/library/butenhof1.html 


http://www.akkadia.org/drepper/futex.pdf 
http://msdn.microsoft.com/en-us/library/Wwindows/desktop/ms682530(v=vs.85).aspx 


即 extract method 重 构 手 法 。 
为 了 简单 起 见 ， 这 里 没有 使 用 第 1 章 介 绍 的 shared_ptr/weak_ptr 来 管理 Requesto 
http://blog.csdn.net/panaimin/article/details/5981766 
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16 http://www.nwcpp.org/Downloads/2007/Machine Architecture - NWCPPpdf 

17 http://www.aristela.com/TalkNotes/ACCU2011 CPUCaches.pdf 
http A org/drepper/cpumemory.pdf 

18 http://igoro.com/archive/gallery-of-processor-cache-effects/ 
http://simplygenius.net/Article/FalseSharing 

19 ”Java 的 这 三 个 浮 数 以 容易 用 错 著 称 ， 一 般 建议 用 java.util.concurrent 中 的 同步 原 语 。 

20 http://en.wikipedia.org/wiki/Spurious wakeup 

21 [RWC]"Know when to broadcast—and when to signal." 
22 ”muduo::Condition 采 用 了 notify0 和 notifyAl0 为 函数 名 ， 避 免 重 载 signal 这 个 术语 。 
23 ”实际 使 用 时 一 般 会 做 成 类 模板 ， 如 muduo/base/BlockingQueue.h。 
24 http://blog.csdn.net/Solstice/article/details/5829421#comments 
25 muduo/base/CountDownLatch.fh,cc} 

26 ”就 像 与 非 门 和 D 触 发 器 构成 了 数字 电路 设计 所 需 的 全 部 基础 元 件 一 样 ， 用 它们 可 以 完 
成 任何 组 合 和 同步 时 序 逻 辑 电 路 设计 。 

27 http://www.drdobbs.com/cpp/lock-free-code-a-false-sense-of-security/210600279 

28 [RWC]"Be wary of readers/writer locks." 

29 ”在 多 线程 编程 中 ， 我 们 总 是 设法 缩短 临界 区 ， 不 是 吗 ? 

30 ”Pthreads rwlock 不 允许 提升 。 

31 http://enwikipedia.org/Wwiki/Read-copy-update 

32 ”trylock 的 一 个 用 途 是 用 来 观察 lock contention， 见 [RWC]“Consider using nonblocking 
synchronization routines to monitor contention.” 

33 http://valgrind.org/docs/manual/hg-manual.html#hg-manual.data-races.algorithm 

34 http://research.microsoft.com/en-us/um/people/lamport/pubs/time-clocks.pdf 

35 http://www.cs.wustl.edu/~schmidt/PDF/DC-Locking.pdf 
36 http:///www.cs.umd.edu/~pugh/java/memoryModel/DoubleCheckedLocking.html 
37 http:///wwwjavaworld.com/Jjw-02-2001/jw-0209-double.html 
8 ”这 个 又 让 我 想起 了 SQL 注 入 ，10 年 前 用 字符 串 拼接 出 SQL 语 句 是 Web 开 发 的 通行 做 
法 ， 直 到 有 一 天 有 人 利用 这 个 漏洞 越权 获得 并 修改 网 站 数据 ， 人 们 才 幅 然 醒悟 ， 赶 紧 修补 。 

39 http://www.aristeia.com/Papers/DD] Jul Aug_ Ee 

40 ”C++11 已 经 有 了 全 新 定义 的 内 存 模型 ， 见 
http://scottmeyers.blogspot.com/2012/04/information-on-c11-memory-model.html 。 

41 Linux 上 sysconf(_SC_ATEXIT_MAX); 返 回 一 个 足够 大 的 数 ， 不 必 担 心 
ATEXIT_MAX(32) 的 限制 。 

42 ”涉及 时 间 的 单元 测试 不 那么 好 写 ， 短 的 如 一 两 秒 ， 可 以 用 sleep(); 长 的 如 一 小 时 、 一 
天 ， 则 得 想 其 他 办 法 ， 比 如 把 算法 提取 出 来 并 把 时 间 注 入 进去 。 

43 ”等 待 BlockingQueue/CountDownLatch 亦 可 归 入 此 类 

44 《Ad Hoc Synchronization Considered Harmful》 
https: oe usenix.org/events/osdi10/tech/full_ papers/Xiong.pdf 。 

http://pdos.csail.mit.edu/papers/linux:osdi10.pdf 

http://preshing.com/20111118/locks-arent-slow-lock-contention-is 

47 ”在 实际 代码 中 判断 shared_ptr::unique0) 是 否 为 trueo 

48 recipes/thread/test/CopyOnWrite test.cc 


第 3 章 ”多 线程 服务 器 的 适用 场合 与 常用 编程 模型 


本 章 主要 讲 我 个 人 在 多 线程 开发 方面 的 一 些 粗浅 经 验 。 总 结 了 一 
两 种 常用 的 线程 模型 ， 归 纳 了 进程 间 通 信和 与 线程 同步 的 最 佳 实践 ， 以 
期 用 简单 规范 的 方式 开发 功能 正确 、 线 程 安全 的 多 线程 程序 。 本 章 假 
定 读者 已 经 有 多 线程 编程 的 知识 与 经 验 (本 书 不 是 一 篇 入 门 教程 ) 。 

文中 的 “多 线程 服务 器 ”是 指 运行 在 Linux 操 作 系统 上 的 独占 式 网 络 
应 用 程序 。 硬 件 平台 为 Intel x86-64 系 列 的 多 核 CPU， 单 路 或 双 路 SMP 服 
务 器 《每 台 机 器 一 共 拥 有 四 个 核 或 八 个 核 ， 十 几 GB 内 存 ) ， 机 器 之 间 
用 干 兆 以 太 网 连接 。 这 大 概 是 目前 民用 PC 服务 器 的 主流 配置 。 不 考虑 
做 分 布 式 存储 ， 只 考虑 分 布 式 计算 ， 系 统 的 规模 大 约 是 几 十 台 服 务 器 
到 几 百 台 服 务 器 之 间 。 

我 将 要 谈 的 “网 络 应 用 程序 ”的 基本 功能 可 以 简单 归纳 为 “ 收 到 数 
据 ， 算 一 算 ， 再 发 出 去 ”。 在 这 个 简化 了 的 模型 里 ， 似 乎 看 不 出 用 多 线 
程 的 必要 ， 单 线程 应 该 也 能 做 得 很 好 。 “为 什么 需要 写 多 线程 程序 ”这 
个 问题 容易 引发 口水 战 ， 我 放 到 $3.5 讨 论 。 请 允许 我 先 假定 “多 线程 编 
程 * 这 一 背景 。 

“服务 器 ”这 个 词 有 时 指 程序 ， 有 时 指 进程 ， 有 时 指 硬件 (无 论 虚 
拟 的 或 真实 的 ) ， 请 注意 按 上 下 文 区 分 。 另 外 ， 本 书 不 考虑 虚拟 化 的 
场景 ， 当 我 说 “两 个 进程 不 在 同一 台 机 器 上 ”时 ， 指 的 是 逻辑 上 不 在 同 
一 个 操作 系统 里 运行 ， 虽 然 物理 上 可 能 位 于 同一 机 器 虚拟 出 来 的 两 台 
“虚拟 机 ”上 。 


3.1 ”进程 与 线程 
“进程 (process) ”是 操作 里 最 重要 的 两 个 概念 之 一 ( 另 一 个 是 


件 ) ， 粗 略 地 讲 ， 一 个 进程 是 “内 存 中 正在 运行 的 程序 "。 本 书 的 进程 
指 的 是 Linux 操 作 系 统 通 过 fork() 系 统 调 用 产生 的 那个 东西 ， 或 者 


Windows 下 CreateProcess() 的 产物 ， 不 是 Erlang 里 的 那 种 “ 轻 量 级 进程 
(Actor) ”。 

每 个 进程 有 自己 独立 的 地 址 空间 (address space) ,“ 在 同一 个 进 
程 ” 还 是 “不 在 同一 个 进程 "是 系统 功能 划分 的 重要 决策 点 。 《Erlang 程 
序 设计 》[ERL] 把 “进程 ”比喻 为 < 人”， 我 觉得 十 分 精 当 ， 为 我 们 提供 了 
一 个 思考 的 框架 。 

每 个 人 有 自己 的 记忆 (memory) ， 人 与 人 通过 谈话 〈 消 息 传递 ) 
来 交流 ， 谈 话 既 可 以 是 面谈 (同一 台 服 务 器 ) ， 也 可 以 在 电话 里 谈 
(不 同 的 服务 器 ， 有 网 络 通信 ) 。 面 谈 和 电话 谈 的 区 别 在 于 ， 面 谈 可 
以 立即 知道 对 方 是 否 死 了 (crash, SIGCHLD) ， 而 电话 谈 只 能 通过 周 
期 性 的 心跳 来 判断 对 方 是 否 还 活着 。 

有 了 这 些 比喻 ， 设 计 分 布 式 系统 时 可 以 采取 “角色 扮演 ”， 团 队 里 
的 几 个 人 各 自 扮演 一 个 进程 ， 人 的 角色 由 进程 的 代码 决定 〈 管 登录 
的 、 管 消息 分 发 的 、 管 买卖 的 等 等 ) 。 每 个 人 有 自己 的 记忆 ， 但 不 知 
道别 人 的 记忆 ， 要 想 知道 别人 的 看 法 ， 只 能 通过 交谈 〈 暂 不 考虑 共享 
内 存 这 种 IPC) 。 然 后 就 可 以 思 


.容错 万 一 有 人 突然 死 了 

-扩容 新 人 中 途 加 进来 

:负载 均衡 ”把 甲 的 活 儿 挪 给 乙 做 

退休 甲 要 修复 bug， 先 别 派 新 任务 ， 等 他 做 完 手 上 的 事情 
就 把 他 重启 


等 等 各 种 场景 ， 十 分 便利 。 

“线程 ”这 个 概念 大 概 是 在 1993 年 以 后 才 慢 慢 流行 起 来 的 ， 距 今 不 
到 20 年 ， 比 不 得 有 40 年 光辉 历史 的 Unix 操 作 系统 。 线 程 的 出 现 给 Unix 
添 了 不 少 乱 ， 很 多 C 库 函数 (strtok()、ctime()) 不 是 线程 安全 的 ， 需 要 
重新 定义 〈$4.2) ; signal 的 语意 也 大 为 复杂 化 。 据 我 所 知 ， 最 早 支持 
多 线程 编程 的 (民用 ) 操作 系统 是 Solaris 2.2 和 Windows NT 3.1， 它 们 
均 发 布 于 1993 年 。 随 后 在 1995 年 ，POSIX threads 标 准确 立 。 


线程 的 特点 是 共享 地 址 空间 ， 从 而 可 以 高 效 地 共享 数据 。 一 台 机 
器 上 的 多 个 进程 能 高 效 地 共享 代码 段 (操作 系统 可 以 映射 为 同样 的 物 
理 内 存 ) ， 但 不 能 共享 数据 。 如 果 多 个 进程 大 量 共享 内 存 ， 等 于 是 把 
多 进程 程序 当成 多 线程 来 瑟 ， 掩 耳 盗 铃 。 

“多 线程 ”的 价值 ， 我 认为 是 为 了 更 好 地 发 挥 多 核 处 理 器 (multi- 
cores) 的 效能 。 在 单 核 时 代 ， 多 线程 没有 多 大 价值 。Alan Cox 说 过 : 
“A computer is a state machine. Threads are for people who can't program 
state machines.”( 计 算 机 是 一 台 状 态 机 。 线 程 是 给 那些 不 能 编写 状态 机 
程序 的 人 准备 的 。) 如 果 只 有 一 块 CPU、 一 个 执行 单元 ， 那 么 确实 如 
Alan Cox 所 说 ， 按 状态 机 的 思路 去 写 程序 是 最 高 效 的， 这 正好 也 是 下 一 
节 展 示 的 编程 模型 。 


3.2 ”单线 程 服务 器 的 常用 编程 模型 


[UNP] 对 此 有 很 好 的 总 结 (第 6 章 的 IO 模 型 、 第 30 章 的 客户 端 了 服 
务 器 设计 范式 ) ， 这 里 不 再 歼 述 。 据 我 了 解 ， 在 高 性 能 的 网 络 程序 
中 ， 使 用 得 最 为 广泛 的 恐怕 要 数 “non-blocking IO 十 IO multiplexing” 这 
种 模型 ， 即 Reactor 模 式 :， 我 知道 的 有 : 


lighttpd， 单 线程 服务 器 。 (Nginx 与 之 类 似 ， 每 个 工作 进程 有 一 个 
event loop。 ) 

‘libevent, libevo 

“ACE, Poco C++ librarieso 

:Java NIO， 包 括 Apache Mina 和 Netty。 

:POE (Perl) 。 

‘Twisted (Python) 。 


相反 ，Boost.Asio 和 Windows IO Completion Ports 实 现 了 Proactor 模 
式 :， 应 用 面 似乎 要 罕 一 些 。 此 外 ，ACE 也 实现 了 Proactor 模 式 。 


在 “non-blocking IO 十 IO multiplexing” 这 种 模型 中 ， 程 序 的 基本 结 
构 是 一 个 事件 循环 (event loop) ， 以 事件 驱动 (event-driven) 和 事件 
回调 的 方式 实现 业务 逻辑 : 
// 代码 仅 为 示意 ， 没 有 完整 考虑 各 种 情况 
while (!done) 
{ 
int timeout_ms = max(1000, getNextTimedCallback()); 
int retval = ::poll(fds, nfds, timeout_ms); 
if (retval < 0) { 
处 理 错误 ， 回 调用 户 的 error handler 
} else { 
处 理 到 期 的 timers， 回 调用 户 的 timer handler 
if (retval > 0) { 
处 理 I0 事件 ， 回 调用 户 的 IO0 event handler 
站 
} 
} 
这 里 select(2)/poll(2) 有 伸缩 性 方面 的 不 足 ，Linux 下 可 替换 为 
epoll(4)， 其 他 操作 系统 也 有 对 应 的 高 性 能 替代 品 :。 
Reactor 模 型 的 优点 很 明显 ， 编 程 不 难 ， 效 率 也 不 错 。 不 仅 可 以 用 
于 读 写 socket， 连 接 的 建立 (connect(2)/accept(2)) 甚至 DNS 解析 :都 可 
以 用 非 阻 塞 方式 进行 ， 以 提高 并 发 度 和 吞吐 量 (throughput) ， 对 于 IO 
密集 的 应 用 是 个 不 错 的 选择 。lighttpd 就 是 这 样 ， 它 内 部 的 fdevent 结 构 
十 分 精妙 ， 值 得 学 习 。 
基于 事件 驱动 的 编程 模型 也 有 其 本 质 的 缺点 ， 它 要 求 事件 回调 也 
数 必须 是 非 阻塞 的 。 对 于 涉及 网 络 IO 的 请 求 响应 式 协 议 ， 它 容易 割裂 
业务 逻辑 ， 使 其 散布 于 多 个 回调 函数 之 中 ， 相 对 不 容易 理解 和 维护 。 
现代 的 语言 有 一 些 应 对 方法 〈 例 如 coroutine) ， 但 是 本 书 只 关注 C++ 这 
种 传统 语言 ， 因 此 就 不 展开 讨论 了 。 


3.3 ”多 线程 服务 器 的 常用 编程 模型 


这 方面 我 能 找到 的 文献 :不 多 ， 大 概 有 这 么 几 种 ( 见 86.6 更 详细 的 
讨论 ) : 


1. 每 个 请 求 创建 一 个 线程 ， 使 用 阻塞 式 IO 操 作 。 在 Java 1.4 引 入 
NIO 之 前 ， 这 是 Java 网 络 编程 的 推荐 做 法 。 可 惜 伸缩 性 不 佳 。 

2. 使 用 线程 闻 ， 同 样 使 用 阻塞 式 IO 操 作 。 与 第 1 种 相 比 ， 这 是 提 
高 性 能 的 措施 。 

3. 使 用 non-blocking IO 十 IO multiplexing。 即 Java NIO 的 方式 。 

4. Leader/Follower 等 高 级 模式 。 


在 默认 情况 下 ， 我 会 使 用 第 3 种 ， 即 non-blocking IO 十 one loop per 
thread 模 式 来 编写 多 线程 C++ 网 络 服务 程序 。 


3.3.1 one loop per thread 


此 种 模型 下 ， 程 序 里 的 每 个 IO 线程 有 一 个 event loop (或 者 叫 
Reactor) ， 用 于 处 理 读 写 和 定时 事件 (无 论 周期 性 的 还 是 单 次 的 ) ， 
代码 框架 跟 83.2 一 样 。 

libev 的 作者 说 :: 


One loop per thread is usually a good model. Doing this is almost 
never wrong, sometimes a better-performance model exists, but it is always 
a good start. 


这 种 方式 的 好 处 是 : 


-线程 数目 基本 固定 ， 可 以 在 程序 启动 的 时 候 设 置 ， 不 会 频繁 创建 
与 销毁 。 

可 以 很 方便 地 在 线程 间 调 配 负载 。 

IO 事件 发 生 的 线程 是 固定 的 ， 同 一 个 TCP 连 接 不 必 考 虑 事件 并 
发 。 


Eventloop 代 表 了 线程 的 主 循 环 ， 需 要 让 哪个 线程 干 活 ， 就 把 timer 
或 IOchannel (如 TCP 连 接 ) 注册 到 哪个 线程 的 loop 里 即 可 。 对 实时 性 有 
要 求 的 connection 可 以 单独 用 一 个 线程 ; 数据 量 大 的 connection 可 以 独占 
一 个 线程 ， 并 把 数据 处 理 任务 分 摊 到 另 几 个 计算 线程 中 (用 线程 
池 ) ; 其 他 次 要 的 辅助 性 connections 可 以 共享 一 个 线程 。 

对 于 non-trivial 的 服务 端 程序 ， 一 般 会 采用 non-blocking IO 十 IO 
multiplexing， 每 个 connection/acceptor 都 会 注册 到 某 个 event loop 上 ， 程 
序 里 有 多 个 event loop， 每 个 线程 至 多 有 一 个 event loop。 

多 线程 程序 对 event loop 提 出 了 更 高 的 要 求 ， 那 就 是 “线程 安全 ”。 

要 允许 一 个 线程 往 别 的 线程 的 loop 里 塞 东 西 :， 这 个 loop 必 须 得 是 线程 
安全 的 。 如 何 实现 一 个 优质 的 多 线程 Reactor? 可 参考 第 8 章 。 


3.3.2 ”线程 池 


不 过 ， 对 于 没有 IO 而 光 有 计算 任务 的 线程 ， 使 用 event loop 有 点 浪 
费 ， 我 会 用 一 种 补充 方案 ， 即 用 blocking queue 实 现 的 任务 队列 
(TaskQueue) : 


typedef boost::function<void()> Functor; 
BlockingQueue<Functor> taskQueue; // 线程 安全 的 阻塞 队列 


void workerThread() 
while (running) // running 变量 是 个 全 局 标志 
Functor task = taskQueue .take() ; // this blocks 
task(); // 在 产品 代码 中 需要 考虑 异常 处 理 
} 
} 


用 这 种 方式 实现 线程 闻 特 别 容易 ， 以 下 是 启动 容量 (并 发 数 ) 为 N 
的 线程 闻 : 


int N = num_of_computing_threads; 
tor Cihnt. Ls & 3 < Ne ++1) 


create_thread(&workerThread); ” // 伪 代 码 : 启动 线程 
} 
使 用 起 来 也 很 简单 : 
Foo foo; // Foo 有 calc() 上 成员 函 数 
boost::function<void()> task = boost::bind(&Foo: :calc, &foo); 
taskQueue.post(task); 


上 面 十 几 行 代码 就 实现 了 一 个 简单 的 固定 数目 的 线程 闻 ， 功 能 
概 相当 于 Java 中 的 ThreadPoolExecutor 的 某 种 “配置 "。 当 然 ， 在 真实 的 
项 目 中 ， 这 些 代 码 都 应 该 封装 到 一 个 class 中 ， 而 不 是 使 用 全 局 对 象 。 
另外 需要 注意 一 点 : Foo 对 象 的 生命 期 ， 第 1 章 详细 讨论 了 这 个 问题 。 

muduo 的 线程 闻 : 比 这 个 略 复杂 ， 因 为 要 提供 stop() 操 作 。 

除了 任务 队列 ， 还 可 以 用 BlockingQueue<T> 实 现 数据 的 生产 者 消 
费 者 队列 ， 即 T 是 数据 类 型 :而 非 国 数 对 象 ，queue 的 消费 者 (sS) 从 中 拿 到 
数据 进行 处 理 。 

BlockingQueue<T> 是 多 线程 编程 的 利器 ， 它 的 实现 可 参照 Java 
util.concurrent 里 的 (Array|Linked)BlockingQueue。 这 份 Java 代 码 可 读 性 
很 高 ， 代 码 的 基本 结构 和 教科 书 一 致 (1 个 mutex，2 个 condition 
variables) ， 健 壮 性 要 高 得 多 。 如 果 不 想 自己 实现 ， 用 现成 的 库 更 好 。 
muduo 里 有 一 个 基本 的 实现 ， 包 括 无 界 的 BlockingQueue 和 有 界 的 
BoundedBlockingQueue 两 个 class。 有 兴趣 的 读者 还 可 以 试 试 Intel 
Threading Building Blocks 里 的 concurrent_queue<T>， 性 能 估计 会 更 好 。 


3.3.3 ”推荐 模式 


总 结 起 来 ， 我 推荐 的 C++ 多 线程 服务 端 编 程 模式 为 : one (event) 
loop per thread+ thread pool。 


:event loop 《也 叫 IO loop) 用 作 IO mnultiplexing， 配 合 non-blocking 
IO 和 定时 器 。 


:thread pool 用 来 做 计算 ， 具 体 可 以 是 任务 队列 或 生产 者 消费 者 队 
列 。 


以 这 种 方式 写 服务 器 程序 ， 需 要 一 个 优质 的 基于 Reactor 模 式 的 网 
络 库 来 支撑 ，muduo 正 是 这 样 的 网 络 库 。 

程序 里 具体 用 几 个 loop、 线 程 池 的 大 小 等 参数 需要 根据 应 用 来 设 
定 ， 基 本 的 原则 是 “阻抗 匹配 ”， 使 得 CPU 和 IO 都 能 高 效 地 运作 ， 有 具体 
的 例子 见 此 处 。 

此 外 ， 程 序 里 或 许 还 有 个 别 执行 特殊 任务 的 线程 ， 比 如 logging， 
这 对 应 用 程序 来 说 基本 是 不 可 见 的 ， 但 是 在 分 配 资源 〈CPU 和 IO) 的 
时 候 要 算 进 去 ， 以 免 高 估 了 系统 的 容量 。 


3.4 ”进程 间 通 信 只 用 TCP 


Linux 下 进程 间 通 信 (IPC) 的 方式 数不胜数 ， 光 [UNPv2] 列 出 的 就 
有 : 匿名 管道 (pipe) 、 具 名 管道 (FIFO) 、POSIX 消 息 队 列 、 共 享 内 
存 、 信 号 (signals) 等 等 ， 更 不 必 说 Sockets 了 。 同 步 原 语 
(synchronization primitives) 也 很 多 ， 如 互 斥 器 (mutex) 、 条 件 变 量 
(condition variable) 、 读 写 锁 (reader-writer lock) 、 文 件 锁 (record 
locking) 、 信 号 量 (semaphore) 等 等 。 

如 何 选择 呢 ? 根据 我 的 个 人 经 验 ， 贵 精 不 贵 多 ， 认 真 挑选 三 四 样 
东西 就 能 完全 满足 我 的 工作 需要 ， 而 且 每 样 我 都 能 用 得 很 熟 ， 不 容易 
犯错 。 

进程 间 通 信 我 首选 Sockets (主要 指 TCP， 我 没有 用 过 UDP， 也 不 
考虑 Unix domain 协 议 ) ， 其 最 大 的 好 处 在 于 : 可 以 跨 主 机 ， 具 有 伸缩 
性 。 反 正 都 是 多 进程 了 ， 如 果 一 台 机 器 的 处 理 能 力 不 够 ,很 自然 地 就 
能 用 多 台 机 器 来 处 理 。 把 进程 分 散 到 同一 局 域 网 的 多 台 机 器 上 ， 程 序 
改 改 host:port 配 置 就 能 继续 用 。 相 反 ， 前 面 列 出 的 其 他 IPC 都 不 能 跨 机 
器 ， 这 就 限制 了 scalability。 


在 编程 上 ，TCP sockets 和 pipe 都 是 操作 文件 描述 符 ， 用 来 收发 字 节 
流 ， 都 可 以 read/write/fcntl/select/poll 等 。 不 同 的 是 ，TCP 是 双向 的 ， 
Linux 的 pipe 是 单 向 的 ， 进 程 间 双向 通信 还 得 开 两 个 文件 描述 符 ， 不 方 
便 :;， 而且 进 程 要 有 父子 关系 才能 用 pipe， 这 些 都 限制 了 pipe 的 使 用 。 
在 收发 字 节 流 这 一 通信 模型 下 ， 没 有 比 Sockets/TCP 更 自然 的 PC 了 。 当 
然 ，pipe 也 有 一 个 经 典 应 用 场景 ， 那 就 是 写 Reactor/event loop 时 用 来 异 
步 唤 醒 select (或 等 价 的 poll/epoll_wait) 调用 ，Sun HotSpot JVM 在 
Linux 就 是 这 么 做 的 2。 

TCP port 由 一 个 进程 独占 ， 且 操作 系统 会 自动 回收 (listening port 
和 已 建立 连接 的 TCP socket 都 是 文件 换 述 符 ， 在 进程 结束 时 操作 系统 会 
关闭 所 有 文件 描述 符 ) 。 这 说 明 ， 即 使 程序 意外 退出 ， 也 不 会 给 系统 
留 下 垃圾 ， 程 序 重启 之 后 能 比较 容易 地 恢复 ， 而 不 需要 重启 操作 系统 

(用 跨 进 程 的 mutex 就 有 这 个 风险 ) 。 还 有 一 个 好 处 ， 既 然 port 是 独占 
的 ， 那 么 可 以 防止 程序 重复 启动 ， 后 面 那个 进程 抢 不 到 port， 上 自然 就 没 
法 初始 化 了 ， 避 免 造 成 意料 之 外 的 结果 。 

两 个 进程 通过 TCP 通 信 ， 如 果 一 个 骨 冲 了 ， 操 作 系统 会 关闭 连接 ， 
另 一 个 进程 几乎 立刻 就 能 感知 ， 可 以 快速 failover。 当然 应 用 层 的 心跳 
也 是 必 不 可 少 的 (89.3) 。 

与 其 他 IPC 相 比 ，TCP 协 议 的 一 个 天 生 的 好 处 是 < 可 记录 、 可 重 
现 ”。tcpdump 和 Wireshark 是 解决 两 个 进程 间 协 议和 状态 争端 的 好 帮 
手 ， 也 是 性 能 〈 吞 吐 量 、 延 迟 ) 分 析 的 利器 。 我 们 可 以 借 此 编写 分 布 
式 程 序 的 自动 化 回归 测试 。 也 可 以 用 tcpcopy#* 之 类 的 工具 进行 压力 测 
试 。TCP 还 能 跨 语言 ， 服 务 端 和 客户 端 不 必 使 用 同一 种 语言 。 试 想 如 果 
用 共享 内 存 作为 IPC，Cr++ 程 序 如 何 与 Java 通 信 ， 难 道 用 JNI 吗 ? 

另外 ， 如 果 网 络 库 带 “连接 重 试 ?功能 的 话 ， 我 们 可 以 不 要 求 系统 
里 的 进程 以 特定 的 顺序 启动 ， 任 何 一 个 进程 都 能 单独 重启 。 换 句 话 
说 ，TCP 连 接 是 可 再 生 的 ， 连 接 的 任何 一 方 都 可 以 退出 再 启动 ， 重 建 连 
接 之 后 就 能 继续 工作 ， 这 对 开发 牢靠 的 分 布 式 系统 意义 重大 。 

使 用 TCP 这 种 字 节 流 (byte stream) 方式 通信 ， 会 有 
marshal/unmarshal 的 开销 ， 这 要 求 我 们 选用 合适 的 消息 格式 ， 准 确 地 说 


是 wire format， 目 前 我 推荐 Google Protocol Buffers。 见 89.6 关 于 分 布 式 
系统 消息 格式 的 讨论 。 

有 人 或 许 会 说 ， 有 具体 问题 具体 分 析 ， 如 果 两 个 进程 在 同一 人 台 机 
器 ， 就 用 共享 内 存 ， 否 则 就 用 TCP， 比 如 MS SQL Server 就 同时 支持 这 
两 种 通信 方式 。 试 问 ， 是 否 值得 为 那么 一 点 性 能 提升 而 让 代码 的 复杂 
度 大 大 增加 呢 ? 何况 TCP 的 local 吞 吐 量 一 点 都 不 低 ， 见 8$6.5.1 的 测试 结 
果 。TCP 是 字 节 流 协议 ， 只 能 顺序 读 取 ， 有 写 缓冲， 共享 内 存 是 消息 协 
议 ，a 进 程 填 好 一 块 内 存 让 b 进 程 来 读 ， 基 本 是 “ 停 等 (stop wait) “" 方 
式 。 要 把 这 两 种 方式 揉 到 一 个 程序 里 ， 需 要 建 一 个 抽象 层 ， 封 装 两 种 
IPC。 这 会 带 来 不 透明 性 ， 并 且 增 加 测试 的 复杂 度 。 而 且 万 一 通信 的 某 
一 方 朋 溃 ， 状 态 reconcile 也 会 比 sockets 麻 烦 。 (数据 刚 写 到 一 半 ， 怎 么 
办 ? ) 为 我 所 不 取 。 再 说 了 ， 你 舍得 让 几 万 块 买 来 的 SQL Server 和 其 他 
应 用 程序 分 享 机 器 资源 吗 ? 生产 环境 下 的 数据 库 服务 器 往往 是 独立 的 
高 配置 服务 器 ， 一 般 不 会 同时 运行 其 他 占 资产 的 程序 。 

TCP 本 身 是 个 数据 流 协议 ， 除 了 直接 使 用 它 来 通信 外 ， 还 可 以 在 此 
之 上 构建 RPC/HTTP/SOAP 之 类 的 上 层 通信 协议 ， 这 超过 了 本 章 的 范 
围 。 另 外 ， 除 了 点 对 点 的 通信 之 外 ， 应 用 级 的 广播 协议 也 是 非常 有 用 
的 ， 可 以 方便 地 构建 可 观 可 控 的 分 布 式 系统 ， 见 87.11。 


分 布 式 系统 中 使 用 TCP 长 连接 通信 


83.1 提 到 ， 分 布 式 系统 的 软件 设计 和 功能 划分 一 般 应 该 以 “进程 ”为 
单位 。 从 宏观 上 看 ， 一 个 分 布 式 系统 是 由 运行 在 多 台 机 器 上 的 多 个 进 
程 组 成 的 ， 进 程 之 间 采 用 TCP 长 连接 通信 。 本 章 讨论 分 布 式 系统 中 单个 
服务 进程 的 设计 方法 ， 第 9 章 将 谈 一 谈 整 个 系统 的 设计 。 我 提倡 用 多 线 
程 ， 并 不 是 说 把 整个 系统 放 到 一 个 进程 里 实现 ， 而 是 指 功能 划分 之 
后 ， 在 实现 每 一 类 服务 进程 时 ， 在 必要 时 可 以 借助 多 线程 来 提高 
能 。 对 于 整个 分 布 式 系统 ， 要 做 到 能 scale out， 即 享受 增加 机 器 带 来 的 
好 处 。 


使 用 TCP 长 连接 的 好 处 有 两 点 : 一 是 容易 定位 分 布 式 系统 中 的 服务 
之 间 的 依赖 关系 。 只 要 在 机 器 上 运行 netstat -tpna | grep :port 就 能 立刻 列 
出 用 到 某 服 务 的 客户 端 地 址 (Foreign 列 ) ， 然 后 在 客户 端的 机 器 上 用 
netstat 或 lsof 命 令 找 出 是 哪个 进程 发 起 的 连接 。 这 样 在 迁移 服务 的 时 候 
能 有 效 地 防止 出 现 outage。TCP 短 连接 和 UDP 则 不 具备 这 一 特性 。 二 是 
通过 接收 和 发 送 队 列 的 长 度 也 较 容易 定位 网 络 或 程序 故障 。 在 正常 运 
行 的 时 候 ，netstat 打 印 的 Recv-Q 和 Send-Q 都 应 该 接近 0， 或 者 在 0 附近 摆 
动 。 如 果 Recv-Q 保 持 不 变 或 持续 增加 ， 则 通常 意味 着 服务 进程 的 处 理 
速度 变 慢 ， 可 能 发 生 了 死 锁 或 阻塞 。 如 果 Send-Q 保 持 不 变 或 持续 增 
加 ， 有 可 能 是 对 方 服务 器 太 忙 、 来 不 及 处 理 ， 也 有 可 能 是 网 络 中 间 某 
个 路 由 器 或 交换 机 故障 造成 丢 包 ， 甚 至 对 方 服务 器 掉 线 ， 这 些 因素 都 
可 能 表现 为 数据 发 送 不 出 去 。 通 过 持续 监控 Recv-Q 和 Send-Q 就 能 及 早 
预警 性 能 或 可 用 性 故障 。 以 下 是 服务 端 线 程 阻塞 造成 Recv-Q 和 客户 端 
Send-Q 激 增 的 例子 。 


$ netstat -tn 


Proto Recv-Q Send-Q Local Address Foreign 

tcp 78393 0 10.0.0.10:2000 10.0.0.10:39748 # 服务 端 连接 
tcp 0 132608 10.0.0.10:39748 10.0.0.10:2000 # 客户 端 连接 
tcp 0 52 10.0.0.10:22 10.0.0.4:55572 


3.5 “多 线程 服务 器 的 适用 场合 


“服务 器 开发 "包罗 万 象 ， 本 书 所 指 的 “服务 器 开发 ”的 含义 请 见 本 章 
开头 ， 用 一 句 话 形容 是 : 跑 在 多 核 机 器 上 的 Linux 用 户 态 的 没有 用 户 界 
面 的 长 期 运行 的 网 络 应 用 程序 ， 通 常 是 分 布 式 系统 的 组 成 部 件 。 

开发 服务 端 程序 的 一 个 基本 任务 是 处 理 并 发 连接 ， 现 在 服务 端 网 
络 编程 处 理 并 发 连接 主要 有 两 种 方式 : 


` 当 “线程 ”很 廉价 时 ， 一 台 机 器 上 可 以 创建 远 高 于 CPU 数 目的 “ 线 
程 "。 这 时 一 个 线程 只 处 理 一 个 TCP 连 接 (甚至 半 个 ) ， 通 常 使 用 阻塞 
IO (至 少 看 起 来 如 此 ) 。 例 如 ，Python gevent、Go goroutine、 Erlang 


actor。 这 里 的 “线程 ”由 语言 的 runtime 自 行 调度 ， 与 操作 系统 线程 不 是 
一 回 事 。 

: 当 线 程 很 宝贵 时 ， 一 台 机 器 上 只 能 创建 与 CPU 数 目 相 当 的 线程 。 
这 时 一 个 线程 要 处 理 多 个 TCP 连 接 上 的 IO ， 通 常 使 用 非 阻塞 TO 和 IO 
multiplexing。 例 如 ，libevent、muduo、Netty。 这 是 原生 线程 ， 能 被 操 
作 系 统 的 任务 调度 器 看 见 。 


在 处 理 并 发 连接 的 同时 ， 也 要 充分 发 挥 硬 件 资产 的 作用 ， 不 能 让 
CPU 资源 闲置 。 以 上 列 出 的 库 不 是 每 个 都 能 做 到 这 一 点 。 既 然 本 书 讨 
论 的 是 C++ 编程 ， 那 么 只 考虑 后 一 种 方式 ， 这 是 在 Linux 下 使 用 native 语 
言 编写 用 户 态 高 性 能 网 络 程序 的 最 成 熟 的 模式 。 本 节 主 要 讨论 的 是 这 
些 “ 线 程 ”应 该 属于 一 个 进程 〈 以 下 模式 2) ， 还 是 分 属 多 个 进程 (模式 
83) 

与 前 文 相 同 ， 本 节 的 “进程 ” 指 的 是 fork(2) 系 统 调 用 的 产物 。“ 线 程 ” 
各 的 是 pthread_create() 的 产物 ， 因 此 是 宝贵 的 那 种 原生 线程 。 而 且 我 指 
的 Pthreads 是 NPTL 的 ， 每 个 线程 由 clone(2) 产 生 ， 对 应 一 个 内 核 的 
task_structo 

首先 ， 一 个 由 多 台 机 器 组 成 的 分 布 式 系统 必然 是 多 进程 的 (字面 
意义 上 ) ， 因 为 进程 不 能 跨 OS 边界 。 在 这 个 前 提 下 ， 我 们 把 目光 集中 
到 一 台 机 器 ， 一 台 拥 有 至 少 4 个 核 的 普通 服务 器 。 如 果 要 在 一 台 多 核 机 
器 上 提供 一 种 服务 或 执行 一 个 任务 ， 可 用 的 模式 有 : 这 里 的 “模式 ” 
不 是 pattern， 而 是 model， 不 巧 它们 的 中 译文 是 一 样 的 。) 


， 运行 一 个 单线 程 的 进程 ; 
， 运行 一 个 多 线程 的 进程 ; 
.运行 多 个 单线 程 的 进程 ; 
， 运行 多 个 多 线程 的 进程 。 


人 玉 局 一 


这 些 模式 之 间 的 比较 已 经 是 老生 常 谈 ， 简 单 地 总 结 如 下 。 


.模式 1 是 不 可 伸缩 的 (scalable) ， 不 能 发 挥 多 核 机 器 的 计算 能 
力 。 
.模式 3 是 目前 公认 的 主流 模式 。 它 有 以 下 两 种 子 模式 : 
3a ”简单 地 把 模式 1 中 的 进程 运行 多 份 # 
3b” 主 进程 -woker 进 程 ， 如 果 必 须 绑 定 到 一 个 TCP port， 比 如 
httpd+fastcgi 
模式 2 是 被 很 多 人 所 鄙视 的 ， 认 为 多 线程 程序 难 写 ， 而 且 与 模式 3 
相 比 并 没有 什么 优势 。 
:模式 4 更 是 千夫 所 指 ， 它 不 但 没有 结合 2 和 3 的 优点 ， 反 而 汇聚 了 二 
者 的 缺点 。 


本 文 主 要 想 讨 论 的 是 模式 2 和 模式 3b 的 优 和 劣 ， 即 : 什么 时 候 一 个 服 
务 器 程序 应 该 是 多 线程 的 。 从 功能 上 讲 ， 没 有 什么 是 多 线程 能 做 到 而 
单线 程 做 不 到 的 ， 反 之 亦 然 ， 都 是 状态 机 嘛 (我 很 高 兴 看 到 反例 ) 。 
从 性 能 上 讲 ， 无 论 是 IO bound 还 是 CPU bound 的 服务 ， 多 线程 都 没有 什 
么 优势 。 

Paul E. McKenney 在 《Is Parallel Programming Hard, And, If So, 
What Can You Do Abonut It?》z 第 3.5 节 指出 , “As a rough rule of thumhb， 
use the simplest tool that will get the job done.” 比 方 说 ， 使 用 速率 为 
50MB/s 的 数据 压缩 库 、 在 进程 创建 销毁 的 开销 是 800hs、 线 程 创 建 销 毁 
的 开销 是 50ps 的 前 提 下 ， 考 虑 如 何 执行 压缩 任务 : 


:如 果 要 偶尔 压缩 1GB 的 文本 文件 ， 预 计 运行 时 间 是 20s， 那 么 起 一 
个 进程 去 做 是 合理 的 ， 因 为 进程 启动 和 销毁 的 开销 远 远 小 于 实际 任务 
的 耗 时 。 

:如 果 要 经 常 压缩 500kB 的 文本 数据 ， 预 计 运 行 时 间 是 10ms， 那 么 
每 次 都 起 进程 似乎 有 点 浪费 了 ， 可 以 每 次 单独 起 一 个 线程 去 做 。 

如果 要 频繁 压缩 10kB 的 文本 数据 ， 预 计 运 行 时 间 是 200hs， 那 么 每 
次 起 线程 似乎 也 很 浪费 ， 不 如 直接 在 当前 线程 搞定 。 也 可 以 用 一 个 线 


程 池 ， 每 次 把 压缩 任务 交 给 线程 池 ， 避 免 阻塞 当前 线程 (特别 要 避免 
阻塞 IO 线程 ) 。 


由 此 可 见 ， 多 线程 并 不 是 万 灵 丹 (silver bullet) ， 它 有 适用 的 场 
合 。 那 么 究竟 什么 时 候 该 用 多 线程 ? 在 回答 这 个 问题 之 前 ， 我 先 谈 谈 
必须 用 单线 程 的 场合 。 


3.5.1 ”必须 用 单线 程 的 场合 
据 我 所 知 ， 有 两 种 场合 必须 使 用 单线 程 : 


1. 程序 可 能 会 fork(2); 
2. 限制 程序 的 CPU 占用 率 。 


只 有 单线 程 程序 能 fork(2) ”根据 后 面 34.9 的 分 析 ， 一 个 设计 为 可 
能 调用 fork(2) 的 程序 必须 是 单线 程 的 ， 比 如 后 面 $3.5.3 中 提 到 的 “看 门 狗 
进程 >”。 多 线程 程序 不 是 不 能 调用 fork(2)， 而 是 这 么 做 会 遇 到 很 多 麻 
烦 ， 我 想 不 出 做 的 理由 。 

一 个 程序 fork(2) 之 后 一 般 有 两 种 行为 : 


1. 立刻 执行 exec0， 变 身 为 另 一 个 程序 。 例 如 shel 和 inetd; 又 比如 
lighttpd fork() 出 子 进程 ， 然 后 运行 fastcgi 程 序 。 或 者 集群 中 运行 在 计算 
节点 上 的 负责 启动 job 的 守护 进程 ( 即 我 所 谓 的 “看 门 狗 进 程 ”) 。 

2. 不 调用 exec()， 继 续 运行 当前 程序 。 要 么 通过 共享 的 文件 描述 
符 与 父 进程 通信 ， 协 同 完成 任务 ;要 么 接 过 父 进程 传 来 的 文件 描述 
符 ， 独 立 完成 工作 ， 例 如 20 世 纪 80 年 代 的 web 服务 器 NCSA httpd。 


这 些 行为 中 ， 我 认为 只 有 “看 门 狗 进程 ”必须 坚持 单线 程 ， 其 他 的 
均 可 替换 为 多 线程 程序 (从 功能 上 讲 ) 。 

单线 程 程序 能 限制 程序 的 CPU 占 用 率 ”这 个 很 容易 理解 ， 比 如 在 
一 个 8 核 的 服务 器 上 ， 一 个 单线 程 程序 即便 发 生 busy-wait (无 论 是 因为 


bug， 还 是 因为 overload) ， 占 满 1 个 core， 其 CPU 使 用 率 也 只 有 12.59%6. 
在 这 种 最 坏 的 情况 下 ， 系 统 还 是 有 87.5% 的 计算 资源 可 供 其 他 服务 进程 
使 用 。 

因此 对 于 一 些 辅助 性 的 程序 ， 如 果 它 必须 和 主要 服务 进程 运行 在 
同一 台 机 器 的 话 (比如 它 要 监控 其 他 服务 进程 的 状态 ) ， 那 么 做 成 单 
线程 的 能 避免 过 分 抢夺 系统 的 计算 资源 。 比 方 说 如 果 要 把 生产 服务 器 
上 的 日 志文 件 压 缩 后 备份 到 NFS 上 ， 那 么 应 该 使 用 普通 单线 程 压缩 工具 
(gzip/bzip2) 。 它 们 对 系统 造成 的 影响 较 小 ， 在 8 核 服 务 器 上 最 多 占 满 
1 个 core。 如 果 有 人 为 了 “提高 速度 "， 开 局 了 多 线程 讨 缩 或 者 同时 起 多 
个 进程 来 压缩 多 个 日 志文 件 ， 有 可 能 造成 的 结果 是 非 关 键 任务 耗 尽 了 
CPU 资源 ， 正 常客 户 的 请 求 响应 变 慢 。 这 是 我 们 不 愿意 看 到 的 。 


3.5.2 ”单线 程 程序 的 优 缺 后 


从 编程 的 角度 ， 单 线程 程序 的 优势 无 须 歼 言 : 简单 。 程 序 的 结构 
一 般 如 83.2 所 言 ， 是 一 个 基于 IO multiplexing 的 event loop。 或 者 如 云 风 
所 言 s*， 直 接 用 阻塞 1/O。event loop 的 典型 代码 框架 见 83.2。 

Event loop 有 一 个 明显 的 缺点 ， 它 是 非 抢占 的 (non-preemptive) 。 
假设 事件 a 的 优先 级 高 于 事件 bp， 处 理事 件 4 需 要 1ms， 处 理事 件 b 需 要 
10ms。 如 果 事 件 b 稍 早 于 a 发 生 ， 那 么 当 事 件 a 到 来 时 ， 程 序 已 经 离开 了 
poll(2) 调 用 ， 并 开始 处 理事 件 b。 事 件 a 要 等 上 10ms 才 有 机 会 被 处 理 ， 总 
的 响应 时 间 为 11ms。 这 等 于 发 生 了 优先 级 反 转 。 这 个 缺点 可 以 用 多 线 
程 来 克服 ， 这 也 是 多 线程 的 主要 优势 。 


多 线程 程序 有 性 能 优势 吗 


前 面 我 说 ， 无 论 是 IO bound 还 是 CPU bound 的 服务 ， 多 线程 都 没有 
什么 绝对 意义 上 的 性 能 优势 。 这 句 话 是 说 ， 如 果 用 很 少 的 CPU 负载 就 
能 让 IO 跑 满 ， 或 者 用 很 少 的 IO 流量 就 能 让 CPU 跑 满 ， 那 么 多 线程 没 喻 
用 处 。 举 例 来 说 : 


.对 于 静态 Web 服 务 器 ， 或 者 FTP 服 务 器 ，CPU 的 负载 较 轻 ， 主 要 瓶 
颈 在 磁盘 IO 和 网 络 IO 方面 。 这 时 候 往 往 一 个 单线 程 的 程序 (模式 1) 就 
能 撑 满 1O。 用 多 线程 并 不 能 提高 吞吐 量 ， 因 为 IO 硬件 容 量 已 经 饱和 
了 。 同 理 ， 这 时 增加 CPU 数目 也 不 能 提高 吞吐 量 。 

:CPU 跑 满 的 情况 比较 少见 ， 这 里 我 只 好 虚构 一 个 例子 。 假 设 有 一 
个 服务 ， 它 的 输入 是 n 个 整数 ， 问 能 否 从 中 选 出 m 个 整数 ， 使 其 和 为 0 
(这 里 na<100, m>>0) 。 这 是 著名 的 subset sum 问 题 ， 是 NP-Complete 
的 。 对 于 这 样 一 个 “服务 >”， 哪 怕 很 小 的 n 值 也 会 让 CPU 算 死 。 比 如 n= 王 
30， 一 次 的 输入 不 过 200 字 节 (32-bit 整 数 ) ，CPU 的 运算 时 间 却 能 长 达 
几 分 钟 。 对 于 这 种 应 用 ， 模 式 3a 是 最 适合 的 ， 能 发 挥 多 核 的 优势 ， 程 

序 也 简单 。 


也 就 是 说 ， 无 论 任 何 一 方 早早 地 先 到 达 瓶 须 ， 多 线程 程序 都 没 哈 
优势 。 

说 到 这 里 ， 可 能 已 经 有 读者 不 耐烦 了 : 你 讲 了 这 么 多 ， 都 在 说 单 
线程 的 好 人 处， 那么 多 线程 究竟 有 什么 用 ? 


3.5.3 ”适用 多 线程 程序 的 场景 


我 认为 多 线程 的 适用 场景 是 : 提高 响应 速度 ， 让 IO 和 “计算 ”相互 
重 亚 ， 降 低 latency。 虽 然 多 线程 不 能 提高 绝对 性 能 ， 但 能 提高 平均 响 
应 性 能 。 

一 个 程序 要 做 成 多 线程 的 ， 大 致 要 满足 : 


.有 多 个 CPU 可 用 。 单 核 机 器 上 多 线程 没有 性 能 优势 (但 或 许 能 简 
化 并 发 业务 逻辑 的 实现 ) 。 

:线程 间 有 共享 数据 ， 即 内 存 中 的 全 局 状态 。 如 果 没 有 共享 数据 ， 
用 模型 3b 就 行 。 虽 然 我 们 应 该 把 线程 间 的 共享 数据 降 到 最 低 ， 但 不 代 
表 没 有 。 

:共享 的 数据 是 可 以 修改 的 ， 而 不 是 静态 的 常量 表 。 如 果 数 据 不 能 
修改 ， 那 么 可 以 在 进程 间 用 shared memory， 模 式 3 就 能 胜任 。 


.提供 非 均 质 的 服务 。 即 ， 事 件 的 响应 有 优先 级 差异 ， 我 们 可 以 用 
专门 的 线程 来 处 理 优 先 级 高 的 事件 。 防 止 优先 级 反 转 。 

-latency 和 throughpnut 同 样 重要 ， 不 是 远 辑 简单 的 IO bound 或 CPU 
bound 程 序 。 换 言 之 ， 程 序 要 有 相当 的 计算 量 。 

.利用 异步 操作 。 比 如 logging。 无 论 往 磁 盘 写 log file， 还 是 往 log 
server 发 送 消 息 都 不 应 该 阻塞 critical path。 

:能 scale up。 一 个 好 的 多 线程 程序 应 该 能 享受 增加 CPU 数 目 带 来 的 
好 处 ， 目 前 主流 是 8 核 ， 很 快 就 会 用 到 16 核 的 机 器 了 。 

:具有 可 预测 的 性 能 。 随 着 负载 增加 ， 性 能 缓慢 下 降 ， 超 过 某 个 临 
界 点 之 后 会 急速 下 降 。 线 程 数 目 一 般 不 随 负 载 变化 。 

.多 线程 能 有 效 地 划分 责任 与 功能 ， 让 每 个 线程 的 逻辑 比较 简单 ， 
任务 单一 ， 便 于 编码 。 而 不 是 把 所 有 逻辑 都 塞 到 一 个 event loop 里 ， 不 
同类 别 的 事件 之 间 相 互 影 响 。 


这 些 条 件 比较 抽象 ， 这 里 举 两 个 具体 的 (虽然 是 虚构 的 ) 例子 。 

假设 要 管理 一 个 Linux 服 务 器 机 群 ， 这 个 机 群 里 有 8 个 计算 节点 ，1 
个 控制 节点 。 机 器 的 配置 都 是 一 样 的 ， 双 路 四 核 CPU， 千 兆 网 互联 。 
现在 需要 编写 一 个 简单 的 机 群 管理 软件 (参考 LLNL 的 SLURM*) ， 这 
个 软件 由 3 个 程序 组 成 : 


1. 运行 在 控制 节点 上 的 master， 这 个 程序 监视 并 控制 整个 机 群 的 


2. 运行 在 每 个 计算 节点 上 的 slave， 负 责 启 动 和 终止 jobb， 并 监控 本 
机 的 资源 。2 
3. 供 最 终 用 户 使 用 的 client 命 令 行 工 具 ， 用 于 提交 job。 


根据 前 面 的 分 析 ，slave 是 个 “看 门 狗 进程 ”， 它 会 启动 别 的 job 进 
程 ， 因 此 必须 是 个 单线 程 程序 。 另 外 它 不 应 该 占用 太 多 的 CPU 资产， 
这 也 适合 单线 程 模型 。master 应 该 是 个 模式 2 的 多 线程 程序 : 


它 独 占 一 台 8 核 的 机 器 ， 如 果 用 模型 1， 等 于 浪费 了 87.5% 的 CPU 
资产 。 

.整个 机 群 的 状态 应 该 能 完全 放 在 内 存 中 ， 这 些 状态 是 共享 且 可 变 
的 。 如 果 用 模式 3， 那 么 进程 之 间 的 状态 同步 会 成 大 问题 。 而 如 果 大 量 
使 用 共享 内 存 ， 则 等 于 是 掩耳盗铃 ， 是 披 着 多 进程 外 衣 的 多 线程 程 
序 。 因 为 一 个 进程 一 旦 在 临界 区 内 阻塞 或 crash， 其 他 进程 会 全 部 死 
锁 。 

.master 的 主要 性 能 指标 不 是 throughput， 而 是 latency， 即 尽快 地 响 
应 各 种 事件 。 它 几乎 不 会 出 现 把 IO 或 CPU 跑 满 的 情况 。 

:master 监 控 的 事件 有 优先 级 区 别 ， 一 个 程序 正常 运行 结束 和 异常 
月 演 的 处 理 优先 级 不 同 ， 计 算 节 点 的 磁盘 满 了 和 机 箱 温 度 过 高 这 两 种 
报警 条 件 的 优先 级 也 不 同 。 如 果 用 单线 程 ， 则 可 能 会 出 现 优 先 级 反 
转 。 

假设 master 和 每 个 slave 之 间 用 一 个 TCP 连 接 ， 那 么 master 采 用 2 个 
或 4 个 IO 线程 来 处 理 8 个 TCP connections 能 有 效 地 降低 延迟 。 

master 要 异步 地 往 本 地 硬盘 写 log， 这 要 求 logging library 有 自己 的 
IO 线程 。 

.master 有 可 能 要 读 写 数据 库 ， 那 么 数据 库 连 接 这 个 第 三 方 library 可 
能 有 自己 的 线程 ， 并 回调 master 的 代码 。 

Imaster 要 服务 于 多 个 clients， 用 多 线程 也 能 降低 客户 响应 时 间 。 人 也 
就 是 说 它 可 以 再 用 2 个 IO 线程 专门 处 理 和 clients 的 通信 。 

master 还 可 以 提供 一 个 monitor 接 口 ， 用 来 广播 推送 (pushing) 机 
群 的 状态 ， 这 样 用 户 不 用 主动 轮 询 (polling) 。 这 个 功能 如 果 用 单独 的 
线程 来 做 ， 会 比较 容易 实现 ， 不 会 摘 乱 其 他 主要 功能 。 

master 一 共 开 了 10 个 线程 : 

耻 4 个 用 于 和 slaves 通 信 的 IO 线程 。 

了 这 1 个 logging 线 程 。 

入 1 个 数据 库 IO 绪 程 。 

阵 2 个 和 clients 通 信 的 IO 线程 。 

了 1 个 主线 程 ， 用 于 做 些 背 景 工作 ， 比 如 job 调 度 。 


入 1 个 pushing 线 程 ， 用 于 主动 广播 机 群 的 状态 。 
虽然 线程 数目 略 多 于 core 效 目 ， 但 是 这 些 线程 很 多 时 候 都 是 空 内 
的 ， 可 以 依赖 OS 的 进程 调度 来 保证 可 控 的 延迟 。 


综 上 所 述 ，master 用 多 线程 方式 编写 是 自然 且 高 效 的 。 

再 举 一 个 TCP 聊 天 服务 器 的 例子 ， 这 里 的 “聊天 ”不 完全 指 人 与 人 聊 
天 ， 也 可 能 是 机 器 与 机 器 “聊天 ”。 这 种 服务 的 特点 是 并 发 连接 之 间 有 
数据 交换 ， 从 一 个 连接 收 到 的 数据 要 转发 给 其 他 多 个 连接 。 因 此 我 们 
不 能 按 模式 3 的 做 法 ， 把 多 个 连接 分 到 多 个 进程 中 分 别处 理 (这 会 带 来 
复杂 的 进程 间 通 信 ) ， 而 只 能 用 模式 1 或 者 模式 2。 如 果 纯 粹 只 有 数据 
交换 ， 那 么 我 想 模 式 1 也 能 工作 得 很 好 ， 因 为 现在 的 CPU 足够 快 ， 单 线 
程 应 付 几 百 个 连接 不 在 话 下 。 

如 果 功 能 进一步 复杂 化 ， 加 上 关键 字 过 滤 、 黑 名 单 、 防 灌水 等 等 
功能 ， 甚 至 要 给 聊天 内 容 自动 加 上 相关 连接 ， 每 一 项 功能 都 会 占用 
CPU 资 源 。 这 时 就 要 考虑 模式 2 了 ， 因 为 单个 CPU 的 处 理 能 力 显得 捉 襟 
见 肘 ， 顺 序 处 理 导致 消息 转发 的 延迟 增加 。 这 时 我 们 考虑 把 空 内 的 多 
个 CPU 利用 起 来 ， 自 然 的 做 法 是 把 连接 分 散 到 多 个 线程 上 ， 例 如 按 
round-robin 的 方式 把 1000 个 客户 连接 分 配 到 4 个 IO 线程 上 上。 这样 充 分 利 
用 多 核 加 速 。 具 体 的 例子 见 86.6 的 方案 9， 以 及 此 处 的 实现 。 


线程 的 分 类 
据 我 的 经 验 ， 一 个 多 线程 服务 程序 中 的 线程 大 致 可 分 为 3 类 : 


1. IO 线程 ， 这 类 线程 的 主 循环 是 IO multiplexing， 阻 塞 地 等 在 
select/poll/epoll_wait 系 统 调 用 上 。 这 类 线程 也 处 理 定时 事件 。 当 然 它 的 
功能 不 止 IO， 有 些 简 单 计算 也 可 以 放 入 其 中 ， 比 如 消息 的 编码 或 解 
码 。 

2. 计算 线程 ， 这 类 线程 的 主 循环 是 blockingqueue， 阻 塞 地 等 在 
conditionvariable 上。 这 类 线程 一 般 位 于 thread pool 中 。 这 种 线程 通常 不 
涉及 IO， 一 般 要 避免 任何 阻塞 操作 。 


3. 第 三 方 库 所 用 的 线程 ， 比 如 logging， 又 比如 database 


connectiono 


服务 器 程序 一 般 不 会 频繁 地 启动 和 终止 线程 。 甚 至 ， 在 我 写 过 的 
程序 里 ，create thread 只 在 程序 启动 的 时 候 调 用 ， 在 服务 运行 期 间 是 不 
调用 的 。 

在 多 核 时 代 ， 要 想 充 分 发 挥 CPU 性 能 ， 多 线程 编程 是 不 可 避免 
的 , “能 乌 算法 ”不 是 办 法 。 在 学 会 多 线程 编程 之 前 ， 我 也 一 直 认 为 单 
线程 服务 程序 才 是 王道 。 在 接触 多 线程 编程 之 后 ， 经 过 一 段 时 间 的 训 
练 和 适应 ， 我 已 能 比较 自如 地 编写 正确 且 足 够 高 效 的 多 线程 程序 。 学 
习 多 线程 编程 还 有 一 个 好 处 ， 即 训练 异步 思维 ， 提 高 分 析 并 发 事件 的 
能 力 。 这 对 设计 分 布 式 系统 帮助 巨大 ， 因 为 运行 在 多 台 机 器 上 的 服务 
进程 本 质 上 是 异步 的 。 熟 悉 多 线程 编程 的 话 ， 很 容易 就 能 发 现 分 布 式 
系统 在 消息 和 事件 处 理 方 面 的 race condition。 


3.6 “多 线程 服务 器 的 适用 场合 " 例 释 与 释疑 


《多 线程 服务 器 的 适用 场合 》 一 文 在 博客 = 登 出 之 后 ， 有 热心 读者 
提出 质疑 ， 我 自己 也 觉得 原文 没有 把 道理 说 通 、 说 透 ， 下 面 用 一 些 实 
例 来 解答 读者 的 疑问 。 为 方便 阅读 ， 本 节 以 问答 体 呈 现 。 以 下 “连接 、 
端口 " 均 指 TCP 协 议 。 


1。. Linux 能 同时 启动 多 少 个 线程 ? 


对 于 32-bit Linux， 一 个 进程 的 地 址 空间 是 4GiB， 其 中 用 户 态 能 访 
问 3GiB 左 右 ， 而 一 个 线程 的 默认 栈 (stack) 大 小 是 10MB， 心 算 可 知 ， 
一 个 进程 大 约 最 多 能 同时 启动 300 个 线程 。 如 果 不 改线 程 的 调用 栈 大 小 
的 话 ，300 左 右 是 上 限 ， 因 为 程序 的 其 他 部 分 《数据 段 、 代 码 段 、 堆 、 
动态 库 等 等 ) 同样 要 占用 内 存 (地 址 空间 ) 。 


对 于 64-bit 系 统 ， 绪 程 数 目 可 大 大 增加 ， 有 具体 数字 我 没有 测试 过 ， 
因为 我 在 实际 项 目 中 一 人 台 机 器 上 最 多 只 用 到 过 几 十 个 用 户 线程 ， 其 中 
大 部 分 还 是 空 闪 的 。 

下 面 的 第 2 问 关 于 线程 数目 的 讨论 以 32-bit Linux 为 例 。 


2. 多 线程 能 提高 并 发 度 吗 ? 


如 果 指 的 是 “并 发 连接 数 ”"， 则 不 能 。 

由 问题 1 可 知 ， 假 如 单纯 采用 thread per connection 的 模型 ， 那 么 并 
发 连接 数 最 多 300， 这 远 远 低 于 基于 事件 的 单线 程 程序 所 能 轻松 达到 的 
并 发 连接 数 ( 几 千 乃至 上 万 ， 甚 至 几 万 ) 。 所 谓 “ 基 于 事件 >”， 指 的 是 
用 IO multiplexing event loop 的 编程 模型 ， 又 称 Reactor 模 式 ， 在 前 文中 
已 有 介绍 。 

那么 采用 前 文中 推荐 的 one loop per thread 呢 ? 至 少 不 逊 于 单线 程 程 
序 。 实 际 上 单个 event loop 处 理 1 万 个 并 发 长 连接 并 不 罕见 ， 一 个 multi- 
loop 的 多 线程 程序 应 该 能 轻松 支持 5 万 并 发 链接 。 

小 结 : thread per connection 不 适合 高 并 发 场合 ， 其 scalability 不 佳 。 
one loop per thread 的 并 发 度 足 够 大 ， 且 与 CPU 数目 成 正比 。 


3。. 多 线程 能 提高 吞吐 量 吗 ? 


对 于 计算 密集 型 服务 ， 不 能 。 

假设 有 一 个 耗 时 的 计算 服务 ， 用 单线 程 算 需要 0.8s。 在 一 台 8 核 的 
机 器 上 ， 我 们 可 以 启动 8 个 线程 一 起 对 外 服务 (如 果 内 存 够 用 ， 启 动 8 
个 进程 也 一 样 ) 。 这 样 完 成 单个 计算 仍然 要 0.8s， 但 是 由 于 这 些 进 程 的 
计算 可 以 同时 进行 ， 理 想 情 况 下 吞吐 量 可 以 从 单线 程 的 1.25qps (query 
per second) 上 升 到 10qps。 (实际 情况 可 能 要 打 个 八 折 一 一 如 果 不 是 打 
对 折 的 话 。) 

假如 改 用 并 行 算法 ， 用 8 个 核 一 起 算 ， 理 论 上 如 果 完 全 并 行 ， 加 速 
比 高 达 8， 那 么 计算 时 间 是 0.1s， 吞 吐 量 还 是 10qps， 但 是 首次 请 求 的 响 
应 时 间 却 降低 了 很 多 。 实 际 上 根据 Amdahl's law， 即 便 算法 的 并 行 度 高 


达 95%，8 核 的 加 速 比 也 只 有 6， 计 算 时 间 为 0.133s， 这 样 会 造成 吞吐 量 
下 降 为 7.5qps。 不 过 以 此 为 代价 ， 换 得 响应 时 间 的 提升 ， 在 有 些 应 用 场 
合 也 是 值得 的 。 

再 举 一 个 例子 ， 如 果 要 在 一 台 8 核 机 器 上 压缩 100 个 1GB 的 文本 文 
件 ， 每 个 core 的 处 理 能 力 为 200MB/s。 那 么 “每 次 起 8 个 进程 ， 每 个 进程 
压缩 1 个 文件 ”与 “依次 压缩 每 个 文件 ， 每 个 文件 用 8 个 线程 并 行 压缩 ”这 
两 种 方式 的 总 耗 时 相当 ， 因 为 CPU 都 是 满载 的 。 但 是 第 2 种 方式 能 较 快 
地 拿 到 第 一 个 压缩 完 的 文件 ， 也 就 是 首次 响应 的 延 时 更 小 。 

这 也 回答 了 问题 4。 

如 果 用 thread per request 的 模型 ， 每 个 客户 请 求 用 一 个 线程 去 处 
理 ， 那 么 当 并 发 请 求 数 大 于 某 个 临界 值 了 时 ， 吞 吐 量 反 而 会 下 降 ， 因 为 
线程 多 了 以 后 上 下 文 切 换 的 开销 也 随 之 增加 (分 析 与 数据 请 见 《A 
Design Framework for Highly Concurrent Systems》2) 。thread per 
request 是 最 简单 的 使 用 线程 的 方式 ， 编 程 最 容易 ， 简 单 地 把 多 线程 程 
序 当成 一 堆 串 行程 序 ， 用 同步 的 方式 顺序 编程 ， 比 如 在 Java Servlet 2.x 
中 ， 一 次 页 面 请 求 由 一 个 水 数 
HttpServlet.service(HttpServletRequest req, HttpServletResponse resp) 
同步 地 完成 。 

为 了 在 并 发 请 求 数 很 高 时 也 能 保持 稳定 的 吞吐 量 ， 我 们 可 以 用 线 
程 池 ， 绪 程 池 的 大 小 应 该 满足 “阻抗 匹配 原则 ”， 见 问题 7。 

线程 池 也 不 是 万 能 的 ， 如 果 响 应 一 次 请 求 需 要 做 比较 多 的 计算 
(比如 计算 的 时 间 占 整个 response time 的 1/5 强 ) ， 那 么 用 线程 池 是 合理 
的 ， 能 简化 编程 。 如 果 在 一 次 请 求 响应 中 ， 主 要 时 间 是 在 等 待 IO， 那 
么 为 了 进一步 提高 吞吐 量 ， 往 往 要 用 其 他 编程 模型 ， 比 如 Proactor， 见 
问题 8。 


4. 多 线程 能 降低 响应 时 间 吗 ? 


如 果 设 计 合 理 ， 充 分 利用 多 核资 源 的 话 ， 可 以 。 在 突 发 〈burst) 
请 求 时 效果 尤为 明显 。 


例 1: 多 线程 处 理 输 入 ”以 memcached 服 务 端 为 例 。memcached 一 次 
请 求 响应 大 概 可 以 分 为 3 步 : 


1. 读 取 并 解析 客户 端 输入 ; 
2. 操作 hashtable; 
3. 返回 客户 端 。 


在 单线 程 模式 下 ， 这 3 步 是 串 行 执行 的 。 在 启用 多 线程 模式 时 ， 它 
会 启用 多 个 输入 线程 (默认 是 4 个 ) ， 并 在 建立 连接 时 按 round-robin 法 
把 新 连接 分 派 给 其 中 一 个 输入 线程 ， 这 正好 是 我 说 的 one loop per thread 
模型 。 这 样 一 来 ， 第 1 步 的 操作 就 能 多 线程 并 行 ， 在 多 核 机 器 上 提高 多 
用 户 的 响应 速度 。 第 2 步 用 了 全 局 锁 ， 还 是 单线 程 的 ， 这 可 算是 一 个 值 
得 继续 改进 的 地 方 。 

比如 ， 有 两 个 用 户 同 时 发 出 了 请 求 ， 这 两 个 用 户 的 连接 正好 分 配 
在 两 个 IO 线程 上 上， 那么 两 个 请 求 的 第 1 步 操作 可 以 在 两 个 线程 上 并 行 执 
行 ， 然 后 汇总 到 第 2 步 串 行 执行 ， 这 样 总 的 响应 时 间 比 完全 串 行 执行 要 
短 一 些 (在 “ 读 取 并 解析 ”所 占 的 比重 较 大 的 时 候 ， 效 果 更 为 明显 ) 。 
请 继续 看 下 面 这 个 例子 。 

例 2: 多 线程 分 担负 载 “假设 我 们 要 做 一 个 求解 Sudoku 的 服务 *， 这 
个 服务 程序 在 9981 端 口 接受 请 求 ， 输 入 为 一 行 81 个 数字 ( 待 填 数 字 用 0 
表示 ) ， 输 出 为 填 好 之 后 的 81 个 数字 (1~9) ， 如 果 无 解 ， 输 出 
“NO\rn’”o 

由 于 输入 格式 很 简单 ， 用 单个 线程 做 IO 就 行 了 。 先 假设 每 次 求解 
的 计算 用 时 为 10ms， 用 前 面 的 方法 计算 ， 单 线程 程序 能 达到 的 吞吐 量 
上 限 为 100qps; 在 8 核 机 器 上 ， 如 果 用 线程 池 来 做 计算 ， 能 达到 的 吞吐 
量 上 限 为 800qps。 下面 我 们 看 看 多 线程 如 何 降低 响应 时 间 。 

假设 1 个 用 户 在 极 短 的 时 间 内 发 出 了 10 个 请 求 ， 如 果 用 单线 程 “ 来 
一 个 处 理 一 个 ”的 模型 ， 这 些 reqs 会 排 在 队列 里 依次 处 理 (这 个 队列 是 
操作 系统 的 TCP 缓 冲 区 ， 不 是 程序 里 自己 的 任务 队列 ) 。 在 不 考虑 网 络 
延迟 的 情况 下 ， 第 1 个 请 求 的 响应 时 间 是 10ms; 第 2 个 请 求 要 等 第 1 个 算 


完了 才能 获得 CPU 资源 ， 它 等 了 10ms， 算 了 10ms， 响 应 时 间 是 20ms ; 
依 此 类 推 ， 第 10 个 请 求 的 响应 时 间 为 100ms; 这 10 个 请 求 的 平均 响应 时 
间 为 55mso 

如 果 Sudoku 服 务 在 每 个 请 求 到 达 时 开始 计时 ， 会 发 现 每 个 请 求 都 
是 10ms 响 应 时 间 ; 而 从 用 户 的 观点 来 看 ，10 个 请 求 的 平均 响应 时 间 为 
55ms， 请 读者 想 想 为 什么 会 有 这 个 差异 。 

下 面 改 用 多 线程 : 1 个 IO 线程 ，8 个 计算 线程 (线程 池 ) 。 二 者 之 
间 用 BlockingQueue 沟 通 。 同 样 是 10 个 并 发 请 求 ， 第 1 个 请 求 被 分 配 到 计 
算 线程 1， 第 2 个 请 求 被 分 配 到 计算 线程 >， 依 此 类 推 ， 直 到 第 8 个 请 ; 
被 第 8 个 计算 线程 承担 。 第 9 和 第 10 号 请 求 会 等 在 BlockingQueue 里 ， 直 
到 有 计算 线程 回 到 空闲 状态 其 才能 被 处 理 。 (请 注意 ， 这 里 的 分 配 实 
际 上 由 操作 系统 来 做 ， 操 作 系 统 会 从 处 于 waiting 状 态 的 线程 里 挑 一 
个 ， 不 一 定 是 round-robin 的 。) 这 样 一 来 ， 前 8 个 请 求 的 响应 时 间 差 不 
多 都 是 10ms， 后 2 个 请 求 属于 第 二 批 ， 其 响应 时 间 大 约会 是 20ms， 总 的 
平均 响应 时 间 是 12ms。 可 以 看 出 这 比 单 线程 快 了 不 少 。 

由 于 每 道 Sudoku 题 目的 难度 不 一 ， 对 于 简单 的 题目 ， 可 能 1ms 就 能 
算出 来 ， 复 杂 的 题目 最 多 用 10ms。 那 么 线程 池 方 案 的 优势 就 更 明显 ， 
它 能 有 效 地 降低 “简单 任务 被 复杂 任务 讨 住 ”的 出 现 概率 。 

以 上 举 的 都 是 计算 密集 的 例子 ， 即 线程 在 响应 一 次 请 求 时 不 会 等 
待 IO。 下 面谈 谈 更 复杂 的 情况 。 


5。 多 线程 程序 如 何 让 IO 和 “计算 ”相互 重 又 ， 降 低 latency? 


基本 思路 是 ， 把 IO 操作 (通常 是 写 操 作 ) 通过 BlockingQueue 交 给 
别 的 线程 去 做 ， 自 己 不 必 等 待 。 

例 1: 日 志 (logging) ”在 多 线程 服务 器 程序 中 ,日 志 (logging) 
至 天 重要 ， 本 例 仅 考虑 写 log file 的 情况 ， 不 考虑 log servero 

在 一 次 请 求 响应 中 ， 可 能 要 写 多 条 日 志 消 息 ， 而 如 果 用 同步 的 方 
式 写 文件 (fprintf 或 fwrite) ， 多 半 会 降低 性 能 ， 因 为 : 


.文件 操作 一 般 比较 慢 ， 服 务 线程 会 等 在 IO 上 ， 让 CPU 内 置 ， 增 加 
响应 时 间 。 

.就 算 有 buffer， 还 是 不 灵 。 多 个 线程 一 起 写 ， 为 了 不 至 于 把 buffer 
写 错乱 ， 往 往 要 加 锁 。 这 会 让 服务 线程 互相 等 待 ， 降 低 并 发 度 。 ( 同 
时 用 多 个 log 文 件 不 是 办 法 ， 除 非 你 有 多 个 磁盘 ， 且 保证 log files 分 散在 
不 同 的 磁盘 上 ， 否 则 还 是 要 受到 磁盘 IO 瓶颈 的 制约 。) 


解决 办 法 是 单独 用 一 个 logging 线 程 ， 负 责 写 磁盘 文件 ， 通 过 一 个 
或 多 个 BlockingQueue 对 外 提供 接口 。 别 的 线程 要 写 日 志 的 时 候 ， 先 把 
消息 (字符 串 ) 准备 好 ， 然 后 往 queue 里 一 塞 就 行 ， 基 本 不 用 等 待 。 这 
样 服务 线程 的 计算 就 和 logging 线 程 的 磁盘 IO 相互 重 玛 ， 降 低 了 服务 线 
程 的 响应 时 间 。 

尽管 1ogging 很 重要 ， 但 它 不 是 程序 的 主要 逻辑 ， 因 此 对 程序 的 结 
构 影响 越 小 越 好 ， 最 好 能 简单 到 如 同一 条 printf 语 句 ， 且 不 用 担心 其 他 
性 能 开销 。 而 一 个 好 的 多 线程 异步 logging 库 能 帮 有 我 们 做 到 这 一 点 ， 见 
第 5 章 。 (Apache 的 log4cxx 和 1log4j 都 支持 AsyncAppender 这 种 异步 
logging 方 式 。) 

例 2: memcached 客 户 端 ”假设 我 们 用 memcached 来 保存 用 户 最 后 
发 帖 的 时 间 ， 那 么 每 次 响应 用 户 发 帖 的 请 求 时 ， 和 程序 里 要 去 设置 一 下 
memcached 里 的 值 。 这 一 步 如 果 用 同步 1O， 会 增加 延迟 。 

对 于 “设置 一 个 值 ” 这 样 的 write-only idempotent 操 作 ， 我 们 其 实 不 用 
等 memcached 返 回 操作 结果 ， 这 里 也 不 用 在 乎 set 操 作 失 败 ， 那 么 可 以 借 
助 多 线程 来 降低 响应 延迟 。 比 方 说 我 们 可 以 写 一 个 多 线程 版 的 
memcached 的 客户 端 ， 对 于 set 操 作 ， 调 用 方 只 要 把 key 和 value 准 备 好 ， 
调用 一 下 asyncSet0 国 数 ， 把 数据 往 BlockingQueue 上 一 放 就 能 立即 返 
回 ， 延 迟 很 小 。 剩 下 的 事 就 留 给 memcached 客 户 端的 线程 去 操心 ， 而 服 
务 线程 不 受阻 碍 。 

其 实 所 有 的 网 络 写 操作 都 可 以 这 么 异步 地 做 ， 不 过 这 也 有 一 个 缺 
点 ， 那 就 是 每 次 asyncWrite0 都 要 在 线程 间 传 递 数据 。 其 实 如 果 TCP 缓 


冲 区 是 空 的， 我 们 就 可 以 在 本 线程 写 完 ， 不 用 劳 烦 专 门 的 IO 线程 。 
Netty 就 使 用 了 这 个 办 法 来 进一步 降低 延迟 。 

以 上 都 仪 讨论 了 “ 打 一 枪 就 跑 ” 的 情况 ， 如 果 是 一 问 一 答 ， 比 如 从 
memcached 取 一 个 值 ， 那 么 “ 重 准 10” 并 不 能 降低 响应 时 间 ， 因 为 你 无 论 
如 何 要 等 memcached 的 回复 。 这 时 我 们 可 以 用 别 的 方式 来 提高 并 发 度 ， 
见 问题 8。 (虽然 不 能 降低 响应 时 间 ， 但 也 不 要 浪费 线程 在 空 等 上 。) 

以 上 的 例子 也 说 明 ，BlockingQueue 是 构建 多 线程 程序 的 利器 。 另 
见 812.8.3。 


6. 为 什么 第 三 方 库 往往 要 用 自己 的 线程 ? 


event loop 模 型 没有 标准 实现 。 如 果 自 己 写 代 码 ， 尽 可 以 按 所 用 
Reactor 的 推荐 方式 来 编程 。 但 是 第 三 方 库 不 一 定 能 很 好 地 适应 并 融入 
这 个 event loop framework， 有 时 需要 用 线程 来 做 一 些 串 并 转换 。 比 方 说 
检测 串口 上 的 数据 到 达 可 以 用 文件 描述 符 的 可 读 事件 ， 因 此 可 以 方便 
地 融入 event loop。 但 是 检测 串口 上 的 某 些 控制 信号 (例如 DCD) 只 能 
用 轮 询 (ioctl(fd, TIOCMGET, &flags)) 或 阻塞 等 待 (ioctl(fd， 
TIOCMIWAIT, TIOCM_CAR)) ; 要 想 融 入 event loop， 需 要 单独 起 一 个 
线程 来 查询 串口 信号 翻转 ， 再 转换 为 文件 描述 符 的 读 写 事件 (可 以 通 
过 pipe(2)) 。 

对 于 Java， 这 个 问题 还 好 办 一 些 ， 因 为 thread pool 在 Java 里 有 标准 
实现 ， 叫 ExecutorService。 如 果 第 三 方 库 支 持 线程 地 ， 那 么 它 可 以 和 主 
程序 共享 一 个 ExecutorService， 而 不 是 自己 创建 一 堆 线 程 。 (比如 在 初 
始 化 时 传 入 主 程序 的 obj。) 对 于 C++， 情 况 麻 烦 得 多 ，Reactor 和 thread 
pool 都 没有 标准 库 。 

例 1: libmemcached 只 支持 同步 操作 ”libmemcached 支 持 所 谓 的 
“ 非 阻塞 操作 >， 但 没有 暴露 一 个 能 被 selectpollepoll 的 file describer， 它 
的 memcached_fetch 始 终 会 阻塞 。 它 号 称 memcached_set 可 以 是 非 阻塞 
的 ， 实 际 意 思 是 不 必 等 待 结果 返回 ， 但 实际 上 这 个 函数 会 阻塞 地 调用 
write(2)， 仍 可 能 阻塞 在 网 络 IO 上 。 


如 果 在 我 们 的 Reactor event handler 里 调用 了 libmemcached 的 遂 数 ， 
那么 latency 就 卉 忱 了 了。 如果 想 继续 用 libmemcached， 我 们 可 以 为 它 做 一 
次 线程 封装 ， 按 问题 5 例 2 的 办 法 ， 同 额外 的 线程 专门 做 memcached 的 
IO， 而 程序 主体 还 是 Reactor。 甚 至 可 以 把 memcached 的 “数据 就 绪 ” 作 为 
一 个 event， 注 入 我 们 的 event loop 中 ， 以 进一步 提高 并 发 度 。 (例子 留 
待 问题 8 讲 。) 

万 乎 的 是 ，memcached 的 协议 非常 简单 ， 大 不 了 可 以 自己 写 一 个 基 
于 Reactor 的 客户 端 ， 但 是 数据 库 客户 端 就 没 那么 平 运 了 。 

例 2: MySQL 的 官方 C API 不 支持 异步 操作 ”MySQL 的 官方 客户 
端 s 只 支持 同步 操作 ， 对 于 UPDATE/INSERT/DELETE 之 类 只 要 行为 不 
管 结 果 的 操作 《如 果 代 码 需 要 得 知 其 执行 结果 ， 则 另 当 别论 ) ， 我 们 
可 以 用 一 个 单独 的 线程 来 做 ， 以 降低 服务 线程 的 延迟 。 可 仿照 前 面 
memcached _set 的 例子 ， 不 再 痪 言 。 厅 烦 的 是 SELECT， 如 果 要 把 它 也 
异步 化 ， 就 得 动用 更 复杂 的 模式 了 ， 见 问题 8。 

相 比 之 下 ，PostgreSQL 的 C 客 户 端 libpq 的 设计 要 好 得 多 ， 我 们 可 以 
用 PQsendQuery0) 来 发 起 一 次 查询 ， 然 后 用 标准 的 select/poll/epoll 来 等 待 
PQsocket。 如 果 有 数据 可 读 ， 那 么 用 PQconsumeInput 处 理 之 ， 并 用 
PQisBusy 判 断 查询 结 果 是 否 已 就 绪 。 最 后 用 PQgetResult 来 获取 结果 。 
借助 这 套 异步 API， 我 们 可 以 很 容易 地 为 libpq 写 一 套 wrapper， 使 之 融 
入 程序 所 用 的 event loop 模 型 中 。 


7. 什么 是 线程 池 大 小 的 阻抗 匹配 原则 ? 


我 在 前 文中 提 到 “阻抗 匹配 原则 ， 这 里 大 致 讲 一 讲 。 

如 果 闻 中 线程 在 执行 任务 时 ， 密 集 计算 所 占 的 时 间 比 重 为 P (0< 
P<1) ， 而 系统 一 共有 C 个 CPU， 为 了 让 这 C 个 CPU 跑 满 而 又 不 过 载 ， 线 
程 闻 大 小 的 经 验 公式 T= 二 C/P。T 是 个 hint， 考 虑 到 P 值 的 估计 不 是 很 准 
确 ，T 的 最 佳 值 可 以 上 下 浮动 50%. 这 个 经 验 公 式 的 原理 很 简单 ，T 个 线 
程 ， 每 个 线程 占用 P 的 CPU 时 间 ， 如 果 刚 好 占 满 C 个 CPU， 那 么 必 有 TxP 
一 C。 下 面 验 证 一 下 边界 条 件 的 正确 性 。 


假设 C= 二 8，P 二 1.0， 线 程 池 的 任务 完全 是 密集 计算 ， 那 么 T= 二 8。 
只 要 8 个 活动 线程 就 能 让 8 个 CPU 饱和 ， 再 多 也 没 用 ， 因 为 CPU 资源 已 
经 耗 光 了 。 

假设 C= 二 8，P 二 0.5， 线 程 池 的 任务 有 一 半 是 计算 ， 有 一 半 等 在 IO 
上 ， 那 么 T= 二 16。 考 虑 操作 系统 能 灵活 、 合 理 地 调度 
sleeping/writing/running 线 程 ， 那 么 大 概 16 个 “50% 繁 忙 的 线程 ”能 让 8 个 
CPU 人 忙 个 不 停 。 启 动 更 多 的 线程 并 不 能 提高 吞吐 量 ， 反 而 因为 增加 上 
下 文 切 换 的 开销 而 降低 性 能 。 

如 果 P<0.2， 这 个 公式 就 不 适用 了 ，T 可 以 取 一 个 固定 值 ， 比 如 
5xC。 另 外 ， 公 式 里 的 C 不 一 定 是 CPU 总 数 ， 可 以 是 “分 配给 这 项 任务 的 
CPU 数 目 ”"， 比 如 在 8 核 机 器 上 分 出 4 个 核 来 做 一 项 任务 ， 那 么 C==4。 


8。. 除了 你 推荐 的 Reactor 十 thread poll， 还 有 别 的 non-trivial 多 线程 编 
程 模 型 吗 ? 


有 ，Proactor。 如 果 一 次 请 求 响应 中 要 和 别 的 进程 打 多 次 交道 ， 那 
么 Proactor 模 型 往往 能 做 到 更 高 的 并 发 度 。 当 然 ， 代 价 是 代码 变 得 支 离 
破碎 ， 难 以 理解 。 

这 里 举 HTTP proxy 为 例 ， 一 次 HTTP proxy 的 请 求 如 果 没 有 命中 本 
地 cache， 那 么 它 多 半 会 : 


1. 解析 域名 (不 要 小 看 这 一 步 ， 对 于 一 个 陌生 的 域名 ,解析 可 能 
要 花 几 秒 的 时 间 ) ; 

2. 建立 连接 ; 

3. 发 送 HTTP 请 求 ; 

4. 等 待 对 方 回应 ; 

5. 把 结果 返回 给 客户 。 


这 5 步 中 跟 2 个 server 发 生 了 3 次 round-trip ， 每 次 都 可 能 人 花 几 百 宫 
秒 : 


1. 向 DNS 问 域名 ， 等 待 回复 ; 
2. 向 对 方 的 HTTP 服务器 发 起 连接 ， 等 待 TCP 三 路 握手 完成 ; 
3. 向 对 方 发 送 HTTP request， 等 待 对 方 responseo 


而 实际 上 HTTP proxy 本 身 的 运算 量 不 大 ， 如 果 用 线程 闻 ， 闻 中 线 
程 的 数目 会 很 庞大 ， 不 利于 操作 系统 的 管理 调度 。 
这 时 我 们 有 两 个 解决 思 


1. 把 * 域 名 已 解析 “连接 已 建立 ` “对 方 已 完成 响应 ”做 成 
event， 继 续 按 照 Reactor 的 方式 来 编程 。 这 样 一 来 ， 每 次 客户 请 求 就 不 
能 用 一 个 函数 从 头 到 尾 执 行 完 成 ， 而 要 分 成 多 个 阶段 ， 并 且 要 管理 好 
请 求 的 状态 (“目前 到 了 第 几 步 ? >) 。 

2. 用 回调 函数 ， 让 系统 来 把 任务 串 起 来 。 比 如 收 到 用 户 请 求 ， 如 
果 没 有 命中 本 地 缓存 ， 那 么 需要 执行 : 

a。 立刻 发 起 异步 的 DNS 解析 startDNSResolve0， 告 诉 系统 在 解析 
完 之 后 调用 DNSResolved0O 国 数 ; 

b. 在 DNSResolved0 中 ， 发 起 TCP 连 接 请 求 ， 告 诉 系 统 在 连接 建立 
之 后 调用 connectionEstablished0) ; 

c。 在 connectionEstablished0 中 发 送 HTTP request， 告 诉 系 统 在 收 到 
响应 之 后 调用 httpResponsed0) ; 

d. 最 后 ， 在 httpResponsed() 里 把 结果 返回 给 客户 。 

.NET 大 量 采 用 的 BeginInvoke/EndInvoke 操 作 也 是 这 个 编程 模式 。 
当然 ， 对 于 不 熟悉 这 种 编程 方式 的 人 ， 代 码 会 显得 很 难看 。 有 关 
Proactor 模 式 的 例子 可 参看 Boost.Asio 的 文档 ， 这 里 不 再 多 说 。 

Proactor 模 式 依赖 操作 系统 或 库 来 高 效 地 调度 这 些 子 任务 ， 每 个 子 
任务 都 不 会 阻塞 ， 因 此 能 用 比较 少 的 线程 达到 很 高 的 IO 并 发 度 。 

Proactor 能 提高 否 吐 ， 但 不 能 降低 延迟 ， 所 以 我 没有 上 深入 研究 。 另 
外 ， 在 没有 语言 直接 支持 的 情况 下 *，Proactor 模 式 让 代码 非常 破 侠 ， 
在 C++ 中 使 用 Proactor 是 很 痛苦 的 。 因 此 最 好 在 “线程 ”很 廉价 的 语言 中 


使 用 这 种 方式 ， 这 时 runtime 往 往 会 屏 贡 细节， 程序 用 单线 程 阻塞 IO 的 
方式 来 处 理 TCP 连 接 。 


9. 模式 2 和 模式 3a 该 如 何 取舍 ? 


83.5 中 提 到 ， 模 式 2 是 一 个 多 线程 的 进程 ， 模 式 3a 是 多 个 相同 的 单 
线程 进程 。 

我 认为 ， 在 其 他 条 件 相同 的 情况 下 ， 可 以 根据 工作 集 (work set) 
的 大 小 来 取舍 。 工 作 集 是 指 服务 程序 响应 一 次 请 求 所 访问 的 内 存 大 
小 。 

如 果 工 作 集 较 大 ， 那 么 就 用 多 线程 ， 避 免 CPU cache 换 入 换 出 ， 影 
响 性 能 ; 否则 ， 就 用 单线 程 多 进程 ， 享 受 单线 程 编 程 的 便利 。 举 例 来 
说 


:如果 程 序 有 一 个 较 大 的 本 地 cache， 用 于 缓存 一 些 基础 参考 数据 
(in-memory look-up table) ， 几 乎 每 次 请 求 都 会 访问 cache， 那 么 多 线 
程 更 适合 一 些 ， 因 为 可 以 避免 每 个 进程 都 自己 保留 一 份 cache， 增 加 内 
存 使 用 。 

-memcached 这 个 内 存 消 耗 大 户 用 多 线程 服务 端 就 比 在 同一 台 机 器 
上 运行 多 个 memcached instance 要 好 。 (但 是 如 果 你 在 16GiB 内 存 的 机 
器 上 运行 32-bit memcached， 那 么 此 时 多 instance 是 必需 的 。) 

:求解 Sudoku 用 不 了 多 大 内 存 。 如 果 单 线程 编程 更 方便 的 话 ， 可 以 
用 单线 程 多 进程 来 做 。 青 在 前 面 加 一 个 单线 程 的 load balancer， 仿 
lighttpd 十 fastcgi 的 成 例 。 


线程 不 能 减少 工作 量 ， 即 不 能 减少 CPU 时 间 。 如 果 解 决 一 个 问题 
需要 执行 一 亿 条 指令 〈 这 个 数字 不 大 ， 不 要 被 吓 到 ) ， 那 么 用 多 线程 
只 会 让 这 个 数字 增加 。 但 是 通过 合理 调配 这 一 亿 条 指令 在 多 个 核 上 的 
执行 情况 ， 我 们 能 让 工期 提早 结束 。 这 听 上 去 像 统筹 方法 ， 其 实 也 确 
实 是 统筹 方法 。 


溺 
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http://www.cs.wustl.edu/~schmidt/PDF/Reactor1-93.pdf , Reactor2-93.pdf, Reactor.pdf 
http://www.cs.wustl.edu/~schmidt/PDF/proactor.pdf 

http://www.kegel.com/c10k.html 

gethostbyname(3) 是 阻塞 的 ， 对 陌生 域名 解析 的 耗 时 可 长 达 数 秒 。 
http://www.cs.uwaterloo.ca/~brecht/pubs.html http://hal.inria.fr/docs/00/67/44/75/PDF/paper.pdf 
http://pod.tst.eu/http://cvs.schmorp.de/libev/ev.pod#THREADS AND COROUTINES 


比方 说 主 IO 线 程 收 到 一 个 新 建 连接 ， 分 配给 某 个 子 IO 线 程 处 理 。 
muduo/base/ThreadPool.{h,cc} 
9 ”例如 std::string 或 google::protobuf::Message*。 

10 ”比如 共享 内 存 效率 最 高 ， 但 受 网 络 带 宽 及 延迟 限制 ， 无 论 如 何 也 不 能 高 效 地 共享 两 
台 物 理 机 器 的 内 存 。 

11 可 以 用 socketpair(2) 替 代 。 

12 在 Linux 下 ， 可 以 用 eventfd(2) 代 替 ， 效 率 更 高 。 

13 http://blog.csdn.net/haoel/article/details/2224055 

14 http://code.google.com/p/tcpcopy/ 

15 “长 期 运行 "的 意思 不 是 指 程序 7x24 不 重启 ， 而 是 程序 不 会 因为 无 事 可 做 而 退出 ， 它 
会 等 着 下 一 个 请 求 的 到 来 。 例 如 wget 不 是 长 期 运行 的 ，httpd 是 长 期 运行 的 。 

16 ”如 果 能 用 多 个 TCP port 对 外 提供 服务 的 话 。 

17 http://kernel.org/pub/linux/kernel/people/paulmck/perfbook/perfbook.html 
本 书 中 ， 当 句 尾 是 百 分 号 “%” 时 ， 旬 号 改 用 句点 “.”， 以 避免 与 千 分 号 “%o” 相 混 清 。 
http://blog.codingnow.com/2006/04/iocp_kqueue epoll.html 
https://computing.llnl.gov/linux/slurm/ 


slave 的 实现 要 点 见 http://wwwsslideshare.net/chenshuo/zurg-part-1。 
http://blog.csdn.net/Solstice/article/details/5334243 
by Matt Welsh et al. http://www.cs.berkeley.edu/~culler/papers/events.pdf 


见 笔者 的 博客 《 谈 谈 数 独 》 (http://blog.csdn.net/Solstice/article/details/2096209 ) 。 
25 ” 非 官方 的 libdrizzle 似 乎 支持 异步 操作 ， 见 
https://github.com/chaoslawful/drizzle-nginx-module 。 

26 ”有 的 语言 能 通过 库 扩展 ， 例 如 http://jscex.info/zh-cn/ 。 
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第 4 章 C++ 多 线程 系统 编程 精 要 
学 习 多 线程 编程 面临 的 最 大 的 思维 方式 的 转变 有 两 点 : 


当前 线程 可 能 随时 会 被 切换 出 去 ， 或 者 说 被 抢占 (preempt) 了 。 
-多 线程 程序 中 事件 的 发 生 顺 序 不 再 有 全 局 统一 的 先后 关系 :。 


当 线程 被 切换 回来 继续 执行 下 一 条 语句 (指令 ) 的 时 候 ， 全 局 数 
据 (包括 当前 进程 在 操作 系统 内 核 中 的 状态 ) 可 能 已 经 被 其 他 线程 修 
改 了 。 例 如 ， 在 没有 为 指针 p 加 锁 的 情况 下 ,if (p && p->next) { /*... */ 
} 有 可 能 导致 segfault， 因 为 在 逻辑 与 (&&) 的 前 一 个 分 支 evaluate 为 
true 之 后 的 一 刹那 ，p 可 能 被 其 他 线程 置 为 NULL 或 是 被 释放 ， 后 一 个 分 
支 就 访问 了 非法 地 址 。 

在 单 CPU 系 统 中 ， 理 论 上 我 们 可 以 通过 记录 CPU 上 执行 的 指令 的 
先后 顺序 来 推演 多 线程 的 实际 交织 (interweaving) 运行 的 情况 。 在 多 
核 系 统 中 ， 多 个 线程 是 并 行 执行 的 ， 我 们 甚至 没有 统一 的 全 局 时 钟 来 
为 每 个 事件 编号 。 在 没有 适当 同步 的 情况 下 ， 多 个 CPU 上 运行 的 多 个 
线程 中 的 事件 发 生 先 后 顺序 是 无 法 确定 的 :。 在 引入 适当 同步 后 ， 事 件 
之 间 才 有 了 happens-before 关 系 :。 

多 线程 程序 的 正确 性 不 能 依赖 于 任何 一 个 线程 的 执行 速度 ， 不 能 
通过 原 地 等 待 (sleep()) 来 假定 其 他 线程 的 事件 已 经 发 生 ， 而 必须 通过 
适当 的 同步 来 让 当前 线程 能 看 到 其 他 线程 的 事件 的 结果 。 无 论 线程 执 
行 得 快 与 慢 (被 操作 系统 切换 出 去 得 越 多 ， 执 行 越 慢 ) ， 程 序 都 应 该 
能 正常 工作 。 例 如 下 面 这 段 代 码 就 有 这 方面 的 问题 。 


bool running = false; // 全 局 标志 
void threadFunc() 
{ 


while (running) 


// get task from queue 


} 
} 
void start() 
{ 
muduo: :Thread t(threadFunc); 
tStar te) 
running = true; // 应 该 放 到 t.start() 之 前 。 
} 


这 段 代 码 暗 中 假定 线程 图 数 的 启动 慢 于 running 变 量 的 赋值 :， 因 此 
线程 水 数 能 进入 while 循 环 执行 我 们 想 要 的 功能 。 如 果 上 机 测试 运行 这 
段 代 码 ， 十 有 八 九 会 按 我 们 预期 的 那样 工作 。 但 是 ， 直 到 有 一 天 ， 系 
统 负 载 很 高 ，Thread::start0) 调 用 pthread_create() 陷 入 内 核 后 返回 时 ， 内 
核 决 定 换 另外 一 个 就 绪 任务 来 执行 。 于 是 running 的 赋值 就 推迟 了 ， 这 
时 线程 斑 数 就 可 能 不 进入 while 循 环 而 直接 退出 了 。 

或 许 有 人 会 认为 在 while 之 前 加 一 小 段 延 时 《sleep) 就 能 解决 问 
题 ， 但 这 是 错 的 ， 无 论 加 多 大 的 延 时 ， 系 统 都 有 可 能 先 执行 while 的 条 
件 判断 ， 然 后 再 执行 running 的 赋值 。 正 确 的 做 法 是 把 running 的 赋值 放 
到 jt.start() 之 前 ， 这 样 借助 pthread_create() 的 happens-before 语 意 来 保证 
running 的 新 值 能 被 线程 看 到 。 


4.1 基本 线程 原 语 的 选用 


我 认为 用 C/C++ 编写 跨 平 台 : 的 多 线程 程序 不 是 普遍 的 需求 ， 因 此 
本 书 只 谈 现 代 Linuxs 下 的 多 线程 编程 。POSIX threads 的 负数 有 110 多 
个 ， 真 正常 用 的 不 过 十 几 个 。 而 且 在 C++ 程序 中 通常 会 有 更 为 易 用 的 


wrapper， 不 会 直接 调用 Pthreads 聘 数 。 这 11 个 最 基本 的 Pthreads 国 数 


下 。 
自 . 


2 个 : 线程 的 创建 和 等 待 结 束 (join) 。 封 装 为 nuduo::Thread。 

4 个 : mnutex 的 创建 、 销 毁 、 加 锁 、 解 锁 。 封 装 为 
muduo::MutexLock。 

5 个 : 条 件 变量 的 创建 、 销 毁 、 等 待 、 通 知 、 广 播 。 封 装 为 
muduo::Conditiono 

这 些 封装 class 都 很 直截了当 ， 加 起 来 也 就 一 两 百 行 代码 ， 却 已 经 
构成 了 多 线程 编程 的 全 部 必 备 原 语 。 用 这 三 样 东西 (thread、mutex、 
condition) 可 以 完成 任何 多 线程 编程 任务 。 当 然 我 们 一 般 也 不 会 直接 使 
用 它们 (mutex 除 外 ) ， 而 是 使 用 更 高 层 的 封装 ， 例 如 
mnutex::ThreadPool 和 mnutex::CountDownLatch 等 ， 见 第 2 章 。 

除 此 之 外 ，Pthreads 还 提供 了 其 他 一 些 原 语 ， 有 些 是 可 以 酌情 使 用 
的 ， 有 些 则 是 不 推荐 使 用 的 。 可 以 酌情 使 用 的 有 : 


.pthread_once， 封 装 为 muduo::Singleton<T>。 其 实 不 如 直接 用 全 局 
量 。 
.pthread_key* ， 封 装 为 muduo::ThreadLocal<T>。 可 以 考虑 用 
_ thread 奉 换 之 。 不 建议 使 用 : 
-pthread_rwlock， 读 写 锁 通 党 应 慎 用 。muduo 没 有 封装 读 写 锁 ， 这 
是 有 意 的 。 
:sem_*， 避 人 免 用 信号 量 (semaphore) 。 它 的 功能 与 条 件 变量 重 
合 ， 但 容易 用 错 。 
pthread_{cancel, kill}。 和 程序 中 出 现 了 它们 ， 则 通常 意味 着 设计 出 
了 问题 。 
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不 推荐 使 用 读 写 锁 的 原因 是 它 往往 造成 提高 性 能 的 错觉 (允许 多 
个 线程 并 发 读 ) ， 实 际 上 在 很 多 情况 下 ， 与 使 用 最 简单 的 mutex 相 比 ， 
它 实际 上 降低 了 性 能 。 另 外 ， 写 操作 会 阻塞 读 操 作 ， 如 果 要 求 优化 读 
操作 的 延迟 ， 用 谈 写 锁 是 不 合适 的 。 


多 线程 系统 编程 的 难点 不 在 于 学 习 线程 原 语 (primitives) ， 而 在 
于 理解 多 线程 与 现 有 的 C/C++ 库 了 为数 和 系统 调用 的 交互 关系 ， 以 进一步 
学 习 如 何 设计 并 实现 线程 安全 且 高 效 的 程序 。 


4.2 ”C/C++ 系统 库 的 线程 安全 性 


现行 的 C/C++ 标准 (C89/C99/C++03) 并 没有 涉及 线程 ， 新 版 的 
C/C++ 标准 (C11 和 C++11) 规定 了 程序 在 多 线程 下 的 语意 ，C++11 还 定 
义 了 一 个 线程 库 (std::thread) 。 

对 于 标准 而 言 ， 关 键 的 不 是 定义 线程 库 ， 而 是 规定 内 存 模型 

(memory model) 。 特 别 是 规定 一 个 线程 对 某 个 共享 变量 的 修改 何 时 
能 被 其 他 线程 看 到 ， 这 称 为 内 存 序 (memory ordering) 或 者 内 存 能 见 
度 memory visibility) 。 从 理论 上 讲 ， 如 果 没 有 合适 的 内 存 模型 ， 编 
与 正确 的 多 线程 程序 属于 撞 大 运行 为 ， 见 Hans-J. Boehm 的 论文 
《Threads Cannot be Implemented as a Library》 :。 不 过 我 认为 不 必 担 心 
这 篇 文章 提 到 的 问题 ， 标 准 的 滞后 不 会 对 实践 构成 影响 。 因 为 从 操作 
系统 开始 支持 多 线程 到 现在 已 经 过 去 了 近 20 年 ， 人 们 已 经 编写 了 不 计 
其 数 的 运行 于 关键 生产 环境 的 多 线程 程序 ， 甚 到 Linux 操作 系统 内 核 本 
身 也 可 以 是 抢占 的 (preemptive) 。 因 此 可 以 认为 每 个 支持 多 线程 的 操 
作 系 统 上 自 带 的 C/C++ 编译 器 对 本 平台 的 多 线程 支持 都 足够 好 。 现 在 多 
线程 程序 工作 不 正常 很 难 归结 于 编译 器 bug， 毕 竟 POSIX threads 线 程 标 
准 在 20 世 纪 90 年 代 中 期 就 制定 了 。 当 然 ， 新 标准 的 积极 意义 在 于 让 编 
写 跨 平台 的 多 线程 程序 更 有 保障 了 。 

Unix 系 统 库 (libc 和 系统 调用 ) 的 接口 风格 是 在 20 世 纪 70 年 代 早 期 
确立 的 ， 而 第 一 个 支持 用 户 态 线程 的 Unix 操 作 系 统 出 现在 20 世 纪 90 年 
代 早 期 。 线 程 的 出 现 立 刻 给 系统 遂 数 库 带 来 了 冲击 ， 破 坏 了 20 年 来 一 
贯 的 编程 传统 和 假定 。 例 如 : 


:errno 不 再 是 一 个 全 局 变量 ， 因 为 每 个 线程 可 能 会 执行 不 同 的 系统 
库 遂 数 。 


.有 些 “ 纯 函数 "不 受 影响 ， 例 如 memset/strcpy/snprintf 等 等 。 

有些 影响 全 局 状态 或 者 有 副作用 的 函数 可 以 通过 加 锁 来 实现 线程 
安全 ， 例 如 malloc/free、printf、fread/fseek 等 等 。 

.有些 返 回 或 使 用 静态 空间 的 函数 不 可 能 做 到 线程 安全 ， 因 此 要 提 
供 另 外 的 版 本 ， 例 如 asctime r/ctime_r/gmtime _r、stderror_r、strtok_r 等 
等 。 

传统 的 fork() 并 发 模型 不 再 适用 于 多 线程 程序 (84.9) 。 


现在 Linux glibc 把 ermo 定 义 为 一 个 安 ， 注 意 errno 是 一 个 lvalue， 
此 不 能 简单 定义 为 某 个 图 数 的 返回 值 ， 而 必须 定义 为 对 图 数 返回 指针 
的 dereference。 


extern int *__errno_location(void); 
#define errno (x*__errno_location()) 


值得 一 提 的 是 ， 操 作 系统 支持 多 线程 已 有 近 20 年 ， 早 先 一 些 性 能 
方面 的 缺陷 都 基本 被 弥补 了 。 例 如 最 早 的 SGI STL 自 己 定制 了 内 存 分 配 
器 ， 而 现在 g++ 自 带 的 STL 已 经 直接 使 用 malloc 来 分 配 内 存 ， 
std::allocator 已 经 变 成 了 鸡肋 ($12.2) 。 原 先 Google tcmalloc 相 对 于 
glibc 2.3 中 的 ptmalloc2 有 很 大 的 性 能 提升 ， 现 在 最 新 的 glibc 中 的 
ptmalloc3 已 经 把 差距 大 大 缩小 了 。 

我 们 不 必 担 心 系统 调用 的 线程 安全 性 ， 因 为 系统 调用 对 于 用 户 态 
程序 来 说 是 原子 的 。 但 是 要 注意 系统 调用 对 于 内 核 状 态 的 改变 可 能 影 
响 其 他 线程 ， 这 个 话题 留 到 84.6 再 细 说 。 

与 直觉 相反 ，POSIX 标 准 列 出 的 是 一 份 非 线程 安全 的 冰 数 的 黑 名 
单 :， 而 不 是 一 份 线程 安全 的 函数 的 白 名单 (All functions defined by this 
volume of POSIX.1-2008 shall be thread-safe, except that the following 
functions need not be thread-safe) 。 在 这 份 黑 名 单 中 ，system、 
getenv/putenv/setenv 等 等 国 数 都 是 不 安全 的 。 

因此 ， 可 以 说 现在 glibc 库 函数 大 部 分 都 是 线程 安全 的 。 特 别 是 
FILE* 系 列 函 数 是 安全 的 ，glibc 甚 至 提供 了 非 线 程 安全 的 版 本 :以 应 对 
某 些 特殊 场合 的 性 能 需求 。 尽 管 单个 国 数 是 线程 安全 的 ， 但 两 个 或 多 


个 函数 放 到 一 起 就 不 再 安全 了 。 例 如 fseek0 和 fread0O) 都 是 安全 的 ， 但 是 
对 某 个 文件 “ 先 seek 再 read” 这 两 步 操作 中 间 有 可 能 会 被 打 断 ， 其 他 线程 
有 可 能 趁机 修改 了 文件 的 当前 位 置 ， 让 程序 逻辑 无 法 正确 执行 。 在 这 
种 情况 下 ， 我 们 可 以 用 flockfile(FILE*) 和 funlockfile(FILE*) 肖 | 数 来 显 式 
地 加 锁 。 并 且 由 于 FILE* 的 锁 是 可 重 入 的 ， 加 锁 之 后 再 调用 fread(0) 不 会 
造成 死 锁 。 

如 果 程 序 直接 使 用 ]seek(2) 和 read(2) 这 两 个 系统 调用 来 随机 读 取 文 
件 ， 也 存在 “ 先 seek 再 read” 这 种 race condition， 但 是 似乎 我 们 无 法 高 效 
地 对 系统 调用 加 锁 。 解 决 办 法 是 改 用 pread(2) 系 统 调用 ， 它 不 会 改变 文 
件 的 当前 位 置 。 

由 此 可 见 ， 编 写 线程 安全 程序 的 一 个 难点 在 于 线程 安全 是 不 可 组 
合 的 (composable) 2 ， 一 个 图 数 foo0 调 用 了 两 个 线程 安全 的 鲜 数 ， 而 
这 个 foo0) 函 数 本 身 很 可 能 不 是 线程 安全 的 。 即 便 现 在 大 多 数 glibc 库 函 
数 是 线程 安全 的 ， 我 们 也 不 能 像 写 单线 程 程序 那样 编写 代码 。 例 如 ， 
在 单线 程 程序 中 ， 如 果 我 们 要 临时 转换 时 区 ， 可 以 用 tzset0 函 数 ， 这 个 
函数 会 改变 程序 全 局 的 “当前 时 区 ” 


// 获取 伦敦 的 当前 时 间 


string 01dTzZ = getenv("TZ2"); // save TZz, assumeing non-NULL 
putenv("TZ=Europe/London" ); // set TZ to London 
tzset(); // load London time zone 


struct tm localTimeInLN; 


time_t now = time(NULL); // get time in UTC 
localtime_r(&now, &localTimeInLN); // convert to London local time 
setenv("TZ2"”", oldTz.c_str(), 1); // restore old TZ 

tzset(); // local old time zone 


但 是 在 多 线程 程序 中 ， 这 么 做 不 是 线程 安全 的 ， 即 便 tzset() 本 身 是 
线程 安全 的 。 因 为 它 改 变 了 全 局 状态 (当前 时 区 ) ， 这 有 可 能 影响 其 
他 线程 转换 当前 时 间 ， 或 者 被 其 他 进行 类 似 操 作 的 线程 影响 。 解 决 办 
法 是 使 用 muduo::TimeZone class， 每 个 immutable instance 对 应 一 个 时 


区 ， 这 样 时 间 转 换 就 不 需要 修改 全 局 状态 了 。 例 如 : 


class TimeZone 


public: 
explicit TimeZone(const char* zonefile); 


struct tm toLocalTime(time_t secondsSinceEpoch) const; 
time_t fromLocalTime(const struct tm&) const; 


// default copy ctor/assignment/dtor are okay. 
A 
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const TimeZone kNewYorkTz("/usr/share/zoneinfo/America/New_York"); 
const TimeZone kLondonTz("/usr/share/zoneinfo/Europe/London"); 


time_t now = time (NULL); 
struct tm localTimeInNY = kNewYorkTz.toLocalTime(now).; 
struct tm localTimeInLN = kLondonTz.toLocalTime (now); 

对 于 C/C++ 库 的 作者 来 说 ， 如 何 设 计 线 程 安全 的 接口 也 成 了 一 大 考 
验 ， 值 得 仿效 的 例子 并 不 多 。 一 个 基本 思路 是 尽量 把 class 设 计 成 
immutable 的 ， 这 样 用 起 来 就 不 必 为 线程 安全 操心 了 。 

尽管 C++03 标 准 没 有 明说 标准 库 的 线程 安全 性 ， 但 我 们 可 以 遵循 一 
个 基本 原则 : 凡是 非 共 享 的 对 象 都 是 彼此 独立 的 ， 如 果 一 个 对 象 从 始 
至 终 只 被 一 个 线程 用 到 ， 那 么 它 就 是 安全 的 。 另 外 一 个 事实 标准 是 : 
共享 的 对 象 的 read-only 操 作 是 安全 的 +:， 前 提 是 不 能 有 并 发 的 写 操 作 。 
例如 两 个 线程 各 自 访问 自己 的 局 部 vector 对 象 是 安全 的 ; 同时 访问 共享 
的 const vector 对 象 也 是 安全 的 ， 但 是 这 个 vector 不 能 被 第 三 个 线程 修 
改 。 一 旦 有 writer， 那 么 read-only 操 作 也 必须 加 锁 ， 例 如 vector::size0)。 

根据 $1.1.1 对 线程 安全 的 定义 ，C++ 的 标准 库容 器 和 std::string 都 不 
是 线程 安全 的 ， 只 有 std::allocator 保 证 是 线程 安全 的 。 一 方面 的 原因 是 
为 了 避免 不 必要 的 性 能 开销 ， 另 一 方面 的 原因 是 单个 成 员 鸳 数 的 线程 
安全 并 不 具备 可 组 合 性 (composable) 。 假 设 有 safe_vector<T>class， 
它 的 接口 与 std::vector 相 同 ， 不 过 每 个 成 员 函 数 都 是 线程 安全 的 《类 似 
Java synchronized 方 法 ) 。 但 是 用 safe_vector<T> 并 不 一 定 能 写 出 线程 安 
全 的 代码 。 例 如 : 


safe_vector<int> vec; // 全 局 可 见 


if (!vec.empty()) // 没有 加 锁 保护 
{ 

int x = vec[0]; // 这 两 步 在 多 线程 下 是 不 安全 的 
} 


在 这 语 句 判断 vec 非 空 之 后 ， 别 的 线程 可 能 清空 其 元 素 ， 从 而 造成 vec[0] 
失效 。 

C++ 标 准 库 中 的 绝 大 多 数 泛 型 算法 是 线程 安全 的 <， 因 为 这 些 都 是 
无 状态 纯 函 数 。 只 要 输入 区 间 是 线程 安全 的 ， 那 么 泛 型 钞 数 就 是 线程 
安全 的 。 

C++ 的 iostream 不 是 线程 安全 的 ， 因 为 流 式 输出 


std::cout << "Now is ”<< time(NULL):; 


等 价 于 两 个 遂 数 调用 


std::cout.operator<<("Now is ") 
.operator<<(time (NULL)); 


即便 ostream::operator<<() 做 到 了 线程 安全 ， 也 不 能 保证 其 他 线程 不 会 在 
两 次 函数 调用 之 前 向 stdout 输 出 其 他 字符 。 
对 于 “线程 安全 的 stdout 输 出 ”这 个 需求 ， 我 们 可 以 改 用 printf， 以 达 
到 安全 性 和 输出 的 原子 性 。 但 是 这 等 于 用 了 全 局 锁 ， 任 何 时 刻 只 能 
一 个 线程 调用 printf， 恐 怕 不 见得 高 效 。 在 多 线程 程序 中 高 效 的 日 志 需 
要 特殊 设计 ， 见 第 5 章 。 


4.3 Linux 上 的 线程 标识 


POSIX threads 库 提供 了 pthread_ i 有 于 风 辐 忆 前 进程 的 标识 
符 ， 其 类 型 为 pthread_t。pthread t 不 一 一 个 数值 类 型 (整数 或 指 
针 ) ， 也 有 可 能 是 一 个 结构 体 ， 站 t 了 pthread_equal 
函数 用 于 对 比 两 个 线程 标识 符 是 否 相等 。 这 就 带 来 一 系列 问题 ， 包 
括 : 


无 法 打印 输出 pthread_ t， 因 为 不 知道 其 确切 类 型 。 也 就 没 法 在 日 
志 中 用 它 表 示 当 前 线程 的 id。 

:无 法 比较 pthread_t 的 大 小 或 计算 其 hash 值 ， 因 此 无 法 用 作 关 联 容 器 
的 keyo 

:无 法 定义 一 个 非法 的 pthread_t 值 ， 用 来 表示 绝对 不 可 能 存在 的 线 
程 it， 因此 MnutexLock class 没 有 办 法 有 效 判 断 当 前 线程 是 否 已 经 持 有 本 
锁 。 

:pthread_t 值 只 在 进程 内 有 意义 ， 与 操作 系统 的 任务 调度 之 间 无 法 
建立 有 效 关 联 。 比 方 说 在 /proc 文 件 系统 中 找 不 到 pthread_t 对 应 的 task。 


另外 ，glibc 的 Pthreads 实 现实 际 上 把 pthread_t 用 作 一 个 结构 体 指针 
( 它 的 类 型 是 unsigned long) ， 指 向 一 块 动态 分 配 的 内 存 ， 而 且 这 块 内 
存 是 反复 使 用 的 。 这 就 造成 pthread_t 的 值 很 容易 重复 。Pthreads 只 保证 
同一 进程 之 内 ， 同 一 时 刻 的 各 个 线程 的 id 不 同 ， 不 能 保证 同一 进程 先后 
多 个 线程 具有 不 同 的 id， 更 不 要 说 一 台 机 器 上 多 个 进程 之 间 的 id 唯 一 性 
下 
例如 下 面 这 段 代 码 中 先后 两 个 线程 的 标识 符 是 相同 的 : 
int main() 
pthread_t t1, t2; 
pthread_create(&t1, NULL, threadFunc, NULL); 


printhC"% leNn”, Ly 
pthread_join(t1, NULL); 


pthread_create(&t2, NULL, threadFunc, NULL); 
DrinEfC LAN TZ}: 
pthread_join(t2, NULL); 


一 次 运行 结果 如 下 : 
$ ./a.out 


7fad11787700 
7fad11787700 


因此 ，pthread_t 并 不 适合 用 作 程 序 中 对 线程 的 标识 符 。 


在 Linux 上 ， 我 建议 使 用 gettid(2) 系 统 调用 的 返回 值 作 为 线程 id， 这 
么 做 的 好 处 有 : 


' 它 的 类 型 是 pid t， 其 值 通常 是 一 个 小 整数 ， 便 于 在 日 志 中 输 
出 。 

:在 现代 Linux 中 ， 它 直接 表示 内 核 的 任务 调度 id， 因 此 在 /proc 文 件 
系统 中 可 以 轻易 找到 对 应 项 : /proc/tid 或 /prod/pid/task/tid。 

:在 其 他 系统 工具 中 也 容易 定位 到 具体 某 一 个 线程 ， 例 如 在 top(1) 中 
我 们 可 以 按 线程 列 出 任务 ， 然 后 找 出 CPU 使 用 率 最 高 的 线程 :d， 表 根据 
程序 日 志 判 断 到 底 哪 一 个 线程 在 耗 用 CPU。 

.任何 时 刻 都 是 全 局 唯一 的 ， 并 且 由 于 Linux 分 配 新 pid 有 用 递增 轮 
回 办 法 ， 短 时 间 内 局 动 的 多 个 线程 也 会 具有 不 同 的 线程 id。 

-0 是 非法 值 ， 因 为 操作 系统 第 一 个 进程 init 的 pid 是 1。 


但 是 glibc 并 没有 封装 这 个 系统 调用 ， 需 要 我 们 自己 实现 。 封 装 
gettid(2) 很 简单 ， 但 是 每 次 都 执行 一 次 系统 调用 似乎 有 些 浪费 ， 如 何 才 
能 做 到 更 高 效 呢 ? 

muduo::CurrentThread::tid() 采 取 的 办 法 是 用 _ thread 变 量 来 缓存 
gettid(2) 的 返回 值 ， 这 样 只 有 在 本 线程 第 一 次 调用 的 时 候 才 进行 系统 调 
用 ， 以 后 都 是 直接 从 thread local 缓 存 的 线程 id 拿 到 结果 上 ， 效 率 无 忧 。 
多 线程 程序 在 打 日 志 的 时 候 可 以 在 每 一 条 日 志 消 息 中 包含 当前 线程 的 
id， 不 必 担 心 有 效 率 损失 。 读 者 有 兴趣 的 话 可 以 对 比 一 下 
boost::this_thread::get_id() 的 实现 效率 。 

还 有 一 个 小 问题 ， 万 一 程序 执行 了 fork(2)， 那 么 子 进程 会 不 会 看 到 
stale 的 缓存 结果 呢 ? 解决 办 法 是 用 pthread_atfork() 注 册 一 个 回调 ， 用 于 
清空 缓存 的 线程 d。 具 体 代 码 见 muduo/base/CurrentThread.h 和 Thread.cc 


O 


4.4 ”线程 的 创建 与 销毁 的 守则 


线程 的 创建 和 销毁 是 编写 多 线程 程序 的 基本 要 素 ， 线 程 的 创建 比 
销毁 要 容易 得 多 ， 只 需要 遵循 几 条 简单 的 原则 : 


-程序 库 不 应 该 在 未 提前 告知 的 情况 下 创建 自己 的 “背景 线程 ”。 
:尽量 用 相同 的 方式 创建 线程 ， 例 如 muduo::Thread。 

.在 进入 main0 国 数 之 前 不 应 该 启动 线程 。 

.程序 中 线程 的 创建 最 好 能 在 初始 化 阶段 全 部 完成 。 


以 下 分 别 谈 一 谈 这 几 个 观点 。 

线程 是 稀缺 资源 ， 一 个 进程 可 以 创建 的 并 发 线程 数目 受 限于 地 址 
空间 的 大 小 和 内 核 参数 ， 一 台 机 器 可 以 同时 并 行 运 行 的 线程 数目 受 限 
于 CPU 的 数目 。 因 此 我 们 在 设计 一 个 服务 端 程序 的 时 候 要 精心 规划 线 
程 的 数目 ， 特 别 是 根据 机 器 的 CPU 数目 来 设置 工作 线程 的 数目 ， 并 为 
关键 任务 保留 足够 的 计算 资源 。 如 果 程 序 库 在 背地 里 使 用 了 额外 的 线 
程 来 执行 任务 ， 我 们 这 种 资源 规划 就 泼 算 了 。 可 能 会 导致 高 估 系 统 的 
可 用 资产， 结果 处 理 关 键 任务 不 及 时 ， 达 不 到 预 设 的 性 能 指标 。 

还 有 一 个 重要 原因 是 ， 一 旦 程序 中 有 不 止 一 个 线程 ， 就 很 难 安全 
地 fork() 了 (8§4.9) 。 因 此 * 库 ”不 能 偷偷 创建 线程 。 如 果 确 实 有 必要 使 
用 背景 线程 ， 至 少 应 该 让 使 用 者 知道 。 另 外 ， 如 果 有 可 能 ， 可 以 让 使 
用 者 在 初始 化 库 的 时 候 传 入 线程 池 或 event loop 对 象 ， 这 样 程序 可 以 统 
筹 线程 的 数目 和 用 途 ， 避 免 低 优先 级 的 任务 独占 某 个 线程 。 

理想 情况 下 ， 程 序 里 的 线程 都 是 用 同一 个 class 创 建 的 
(muduo::Thread) ， 这 样 容易 在 线程 的 启动 和 销毁 阶段 做 一 些 统一 的 
舌 记 (bookkeeping) 工作 。 上 比如 说 调用 一 次 muduo::CurrentThread::tid() 
把 当前 线程 id 缓存 起 来 ， 以 后 再 取 线 程 id 就 不 会 陷入 内 核 了 。 也 可 以 统 
计 当 前 有 多 少 活动 线程 上 ， 进 程 一 共 创 建 了 多 少 线 程 ， 每 个 线程 的 用 途 
分 别 是 什么 。C/C++ 的 线程 不 像 Java 线 程 那 样 有 名 字 ， 但 是 我 们 可 以 通 
过 Thread class 实 现 类 似 的 效果 。 如 果 每 个 线程 都 是 通过 muduo::Thread 
启动 的 ， 这 些 都 不 难 做 到 。 必 要 的 话 可 以 写 一 个 ThreadManager 
singleton class， 用 它 来 记录 当前 活动 线程 ， 可 以 方便 调试 与 监控 。 


但 是 这 不 是 总 能 做 到 的 ， 有 些 第 三 方 库 (C 语 言 库 ) 会 自己 启动 线 
程 ， 这 样 的 “野生 ”线程 就 没有 纳入 全 局 的 ThreadManager 管 理 之 中 。 
muduo::CurrentThread::tid() 必 须要 考虑 被 这 种 “野生 ”线程 调用 的 可 能 ， 
因此 它 必须 每 次 都 检查 缓存 的 线程 id 是 否 有 效 ， 而 不 能 假定 在 线程 启动 
阶段 已 经 缓存 好 了 id， 直 接 返 回 缓存 值 就 行 了 。 如 果 库 提供 异步 回调 ， 
一 定 要 明确 说 明 会 在 哪个 (哪些) 线程 调用 用 户 提供 的 回调 函数 ， 这 
样 用 户 可 以 知道 在 回调 函数 中 能 不 能 执行 耗 时 的 操作 ， 会 不 会 阻塞 其 
他 任务 的 执行 。 

在 main(0 国 数 之 前 不 应 该 启动 线程 ， 因 为 这 会 影响 全 局 对 象 的 安全 
构造 。 我 们 知道 ，C++ 保 证 在 进入 main() 之 前 完成 全 局 对 象 * 的 构造 。 
同时 ， 各 个 编译 单元 之 间 的 对 象 构造 顺序 是 不 确定 的 ， 我 们 也 有 一 些 
办 法 来 影响 初始 化 顺序 ， 保 证 在 初始 化 某 个 全 局 对 象 时 使 用 到 的 其 他 
全 局 对 象 都 是 构造 完成 的 。 但 无 论 如 何 这 些 全 局 对 象 的 构造 是 依次 进 
行 的 ， 都 在 主线 程 中 完成 ， 无 须 考虑 并 发 与 线程 安全 。 如 果 其 中 一 个 
全 局 对 象 创 建 了 线程 ， 那 就 危险 了 。 因 为 这 破坏 了 初始 化 全 局 对 象 的 
基本 假设 。 万 一 将 来 代码 改动 之 后 造成 该 线程 访问 了 未 经 初始 化 的 全 
局 对 象 ， 那 么 这 种 隐 星 错误 查 起 来 就 很 费劲 了 。 或 许 你 想 用 锁 来 保证 
全 局 对 象 初始 化 完成 ， 但 是 怎么 保证 这 个 全 局 的 锁 对 象 的 构造 能 在 线 
程 启动 之 前 完成 呢 ? 因此 ， 全 局 对 象 不 能 创建 线程 。 如 果 一 个 库 需要 
创建 线程 ， 那 么 应 该 进入 main() 遂 数 之 后 再 调用 库 的 初始 化 遂 数 去 做 。 

不 要 为 了 每 个 计算 任务 ， 每 次 请 求 去 创建 线程 。 一 般 也 不 会 为 每 
个 网 络 连 接 创建 线程 ， 除 非 并 发 连接 数 与 CPU 数 相近 。 一 个 服务 程序 
的 线程 数目 应 该 与 当前 负载 无 关 ， 而 应 该 与 机 器 的 CPU 数目 有 关 ， 即 
load average 有 比较 小 〈 最 好 不 大 于 CPU 数目 ) 的 上 限 。 这 样 尽 量 避 免 
出 现 thrashing， 不 会 因为 负载 急剧 增加 而 导致 机 器 失去 正常 响应 。 这 么 
做 的 重要 原因 是 ， 在 机 器 失去 响应 期 间 ， 我 们 无 法 探查 它 究竟 在 做 什 
么 ， 也 没 办 法 立刻 终止 有 问题 的 进程 ， 防 止 损害 进一步 扩大 。 如 果 有 
实时 性 方面 的 要 求 ， 线 程 数 目 不 应 该 超过 CPU 数目 ， 这 样 可 以 基本 保 
证 新 任务 总 能 及 时 得 到 执行 ， 因 为 总 有 CPU 是 空间 的 。 最 好 在 程序 的 
初始 化 阶段 创建 全 部 工作 线程 ， 在 程序 运行 期 间 不 再 创建 或 销毁 线 


程 。 借 助 muduo::ThreadPool 和 muduo::EventLoop， 我 们 很 容易 就 能 把 计 
算 任务 和 IO 任 务 分 配 到 已 有 的 线程 ， 代 价 只 有 新 建 线程 的 几 分 之 一 。 
线程 的 销毁 有 几 种 方式 ?2: 


.自然 死亡 。 从 线程 主 了 图 数 返 回 ， 线 程 正 常 退出 。 

非 正常 死亡 。 从 线程 主 函 数 抛 出 异常 或 线程 触发 segfault 信 号 等 非 
法 操作 、。 

:自杀 。 在 线程 中 调用 pthread_exit() 来 立刻 退出 线程 。 

他杀。 其 他 线程 调用 pthread_cancel0) 来 强制 终止 某 个 线程 。 


pthread_kill0 是 往 线程 发 信号 ， 留 到 84.10 再 讨论 。 

线程 正常 退出 的 方式 只 有 一 种 ， 即 自然 死亡 。 任 何 从 外 部 强行 终 
止 线程 的 做 法 和 想法 都 是 错 的 2a。 佐 证 有 : Java 的 Thread class 把 
stopO0、suspend0、destroy0) 等 函数 都 废弃 (deprecated) 了 ， 
Boost.Threads 根 本 就 不 提供 thread::cancel0) 成 员 国 数 :。 因 为 强行 终止 线 
程 的 话 (无 论 是 自杀 还 是 他 杀 ) ， 它 没有 机 会 清理 资源 。 也 没有 机 会 
释放 已 经 持 有 的 锁 ， 其 他 线程 如 果 再 想 对 同一 个 mutex 加 锁 ， 那 么 就 会 
立刻 死 锁 。 因 此 我 认为 不 用 去 研究 cancellation point 这 种 “鸡肋 ”概念 。 

如 果 确 实 需 要 强行 终止 一 个 耗 时 很 长 的 计算 任务 ， 而 又 不 想 在 计 
算 期 间 周期 性 地 检查 某 个 全 局 退出 标志 ， 那 么 可 以 考虑 把 那 一 部 分 代 
码 fork() 为 新 的 进程 ， 这 样 杀 (kill(2)) 一 个 进程 比 杀 本 进程 内 的 线程 要 
安全 得 多 。 当 然 ，fork() 的 新 进程 与 本 进程 的 通信 方式 也 要 慎重 选取 ， 
最 好 用 文件 描述 符 (pipe(2)/socketpair(2)/TCP socket) 来 收发 数据 ， 而 
不 要 用 共享 内 存 和 跨 进 程 的 互 斥 器 等 IPC， 因 为 这 样 仍然 有 死 锁 的 可 
能 。 

muduo::Thread 不 是 传统 意义 上 的 RAII class， 因 为 它 析 构 的 时 候 没 
有 销毁 持 有 的 Pthreads 线 程 句柄 (pthread_t) ， 也 就 是 说 Thread 的 析 构 
不 会 等 待 线程 结束 。 一 般 而 言 ， 我 们 会 让 Thread 对 象 的 生命 期 长 于 线 
程 ， 然 后 通过 Thread::join(0) 来 等 待 线程 结束 并 释放 线程 资源 。 如 果 


Thread 对 象 的 生命 期 短 于 线程 ， 那 么 就 没有 机 会 释放 pthread_ t 了 。 
muduo::Thread 没 有 提供 detach0 成 员 孙 数 ， 因 为 我 不 认为 这 是 必要 的 。 

最 后 ， 我 认为 如 果 能 做 到 前 面 提 到 的 “程序 中 线程 的 创建 最 好 能 在 
初始 化 阶段 全 部 完成 ?>， 则 线程 是 不 必 销 毁 的 ， 伴 随 进程 一 直 运 行 ， 彻 
底 避 开 了 线程 安全 退出 可 能 面临 的 各 种 困难 ， 包 括 Thread 对 象 生命 期 管 
理 、 资 源 释 放 等 等 。 


4.4.1 pthread_cancel 与 C++ 


POSIX threads 有 cancellation point 这 个 概念 ， 意 思 是 线程 执行 到 这 
里 有 可 能 会 被 终止 (cancel) 〈( 如 果 别 的 线程 对 它 调用 了 
pthread_cancel() 的 话 ) 。POSIX 标 准 列 出 了 必须 或 者 可 能 是 cancellation 
point 的 函数 22。 

在 C++ 中 ，cancellation point 的 实现 与 C 语 言 有 所 不 同 ， 线 程 不 是 执 
行 到 此 函数 就 立刻 终止 ， 而 是 该 函数 会 抛 出 异常 。 这 样 可 以 有 机 会 执 
行 stack unwind， 析 构 栈 上 对 象 〈 特 别 是 释放 持 有 的 锁 ) 。 如 果 一 定 要 
使 用 cancellation point， 建 议 读 一 读 Ulrich Drepper 写 的 Cancellation and 
C++ Exceptions 这 篇 短文 <。 不 过 按 我 的 观点 ， 不 应 该 从 外 部 杀 死 线 


程 。 
4.4.2 ”exit(3) 在 C++ 中 不 是 线程 安全 的 


exit(3) 廊 数 在 C++ 中 的 作用 除了 终止 进程 ， 还 会 析 构 全 局 对 象 和 已 
经 构造 完 的 阔 效 静态 对 象 。 这 有 潜在 的 死 锁 可 能 ， 考 虑 下 面 这 个 例 
子 。 


void someFunctionMayCallExit() 


eXit(1) ; 


class Globalobject // : boost: :noncopyabjle 


public: 
void doit() 


MutexLockGuard lock(mutex_); 
someFunctionMayCallExit(); 


} 


~GlobalObject() 


{ 
printf("GlobalObject:~GlobalObject\n"); 
MutexLockGuard lock(mutex_); // 此 处 发 生死 锁 
// clean up 
printf("GlobalObject:~GlobalObject cleanning\n"); 


} 


private: 
MutexLock mutex_; 


有 
Globalobject g_obj ; 


int main() 


g_obj.doit(); 

于 

GlobalObject::doit() 冰 数 思 € 转 调用 了 exit()， 从 而 触发 了 全 局 对 象 
g_obj 的 析 构 。GlobalObject 的 析 构 水 数 会 试图 加 锁 mutex_， 而 此 时 
mnutex_ 已 经 被 GlobalObject::doitO 锁 住 了 ， 于 是 造成 了 死 锁 。 

再 举 一 个 调用 纯 虚 函数 导致 程序 骨 溃 的 例子 。 假 如 有 一 个 策略 基 
类 ， 在 运行 时 我 们 会 根据 情况 使 用 不 同 的 无 状态 策略 (派生 类 对 
象 ) 。 由 于 策略 是 无 状态 的 ， 因 此 可 以 共享 派生 类 对 象 ， 不 必 每 次 都 
新 建 。 这 里 以 日 历 (Calendar) 基 类 和 不 同 国家 的 假期 


(AmericanCalendar 和 BritishCalendar) 为 例 ，factory 遂 数 返回 某 个 全 局 
对 象 的 引用 ， 而 不 是 每 次 都 创建 新 的 派生 类 对 象 。 


class Calendar : boost: :noncopyable 

public: 
virtual bool isHoliday(muduo::Date d) const = 0; // 纯 虚 函数 
virtual ~Calendar() {} 


}; 
class AmericanCalendar : public Calendar 
C 
public: 
virtual bool isHoliday(muduo: :Date d) const; 
}; 
class BritishCalendar : public Calendar 
{ 
public: 
virtual bool isHoliday(muduo: :Date d) const ; 
}; 


AmericanCalendar americanCalendar; // 全 局 对 象 
BritishCalendar britishCalendar; 


// factory method returns americanCalendar or britishCalendar 
Calendar& getCalendar(const string& region) ; 


通常 的 使 用 方式 是 通过 factory 拿 到 具体 国家 的 日 历 ， 再 判断 某 一 天 
是 不 是 假期 : 


void processRequest(const Request& req) 


{ 


Calendar& calendar = getCalendar(req.region) ; 
/1 如 果 别 的 线程 在 此 时 调用 了 exit() srres. 


if (calendar.isHoliday(req.settlement_date)) 


// do something 


? 


这 一 切 都 工作 得 很 好 ， 直 到 有 一 天 我 们 想 主动 退出 这 个 服务 程 
序 ， 于 是 某 个 线程 调用 了 exit0， 析 构 了 全 局 对 象 ， 结 果 造 成 另 一 个 线 
程 在 调用 Calendar::isHoliday 时 发 生 朋 省 : 
pure Virtual method called 


terminate called without an active exception 
Aborted (core dumped) 


当然 ， 这 只 是 举例 说 明 * 用 全 局 对 象 实现 无 状态 策略 ”在 多 线程 中 
析 构 可 能 有 危险 。 在 真实 的 项 目 中 ，Calendar 应 该 在 运行 的 时 候 从 外 部 
配置 读 入 *， 而 不 能 写 死 在 代码 中 。 

这 其 实 不 是 exit() 的 过 错 ， 而 是 全 局 对 象 析 构 的 问题 。C++ 标 准 没 
有 照顾 全 局 对 象 在 多 线程 环境 下 的 析 构 ， 据 我 看 似乎 也 没有 更 好 的 办 
法 。 如 果 确 实 需 要 主动 结束 线程 ， 则 可 以 考虑 用 _exit(2) 系 统 调 用 。 它 
会 试图 析 构 全 局 对 象 ， 但 是 也 不 会 执行 其 他 任何 清理 工作 ， 比 如 
flush 标 准 输出 。 

由 此 可 见 ， 安 全 地 退出 一 个 多 线程 的 程序 并 不 是 一 件 容易 的 事 
情 。 何 况 这 里 还 没有 涉及 如 何 安全 地 退出 其 他 正在 运行 的 线程 ， 这 需 
要 精心 设计 共享 对 象 的 析 构 顺序 ， 防 止 各 个 线程 在 退出 时 访问 已 失效 
的 对 象 。 在 编写 长 期 运行 的 多 线程 服务 程序 的 时 候 ， 可 以 不 必 仍 求 安 
全 地 退出 ， 而 是 让 进程 进入 拒绝 服务 状态 ， 然 后 就 可 以 直接 杀 掉 了 

(89.3) 。 


4.5 ” 善 用 ” thread 关键 字 


_ thread 是 GCC 内 置 的 线程 局 部 存储 设施 (thread local storage) 。 
它 的 实现 非常 高 效 ， 比 pthread_key tt 快 很 多 ， 见 Ulrich Drepper 写 的 
《ELF Handling For Thread-Local Storage》*。_thread 变 量 的 存 取 效率 
可 与 全 局 变量 相 比 : 


int g_var; // 全 局 变量 
__thread int t_var:  // _ thread 变量 


void foo() // 交替 显示 源 代 码 和 汇编 代码 


{ 

8048494: 55 push  %ebp 

8048495: 89 e5 mov %esp, %ebp 

g_var = 1; // 直接 寻 址 

8048497 : c7 05 1c 97 04 08 movl1 $0x1, Ox804971c 
804849d: 01 00 00 00 

t_var =. 2 // 也 是 直接 寻 址 ， 用 了 段 寄 存 器 gs 
80484al: 65 C7 05 fesff 下 = movl $0x2, %gs:0Oxfffffffc 
80484a8: 02 00 00 00 
} 

80484ac: 5d pop %ebp 

80484ad : C3 ret 


thread 使 用 规则 := : 只 能 用 于 修饰 POD 类 型 ， 不 能 修饰 class 类 
型 ， 本 数 和 析 构 水 数 。 _thread 可 以 用 于 修饰 全 
局 变量 、 函 数 内 的 静态 变量 ， 但 是 不 能 用 于 修饰 函数 的 局 部 变量 或 者 
class 的 普通 成 员 变量 。 另 外 ，_thread 变 量 的 初始 化 只 能 用 编译 期 常 
量 。 例 如 : 


__thread string t_obj1("Chen Shuo”");  // 错误 ， 不 能 调用 对 象 的 构造 函数 
__thread stringx t_obj2 = new string; // 错误 ， 和 有 姑 化 必须 用 编译 期 常量 
__thread string* t_obj3 = NULL; // 正确 ， 但 是 需要 手工 初始 化 并 销毁 对 象 


thread 变量 是 每 个 线程 有 一 份 独立 实体 ， 各 个 线程 的 变量 值 互 不 
干扰 。 除 了 这 个 主要 用 途 ， 它 还 可 以 修饰 那些 <* 值 可 能 会 变 ， 带 有 全 局 
性 ， 但 是 又 不 值得 用 全 局 锁 保护 ”的 变量 。muduo 代 码 中 用 到 了 好 几 处 
_ thread， 简 单列 举 如 下 : 


-muduo/base/Logging.cc ”缓存 最 近 一 条 日 志 时 间 的 年 月 日 时 分 秒 ， 
如 果 一 秒 之 内 输出 多 条 日 志 ， 可 避免 重复 格式 化 。 另 外 ， 
muduo::strerror_ tl 把 strerror_r(3) 做 成 如 同 strerror(3) 一 样 好 用 ， 而 且 是 线 
程 安全 的 。 

.muduo/base/Processlnfo.cc ”用 线程 局 部 变量 来 简化 ::scandir(3) 的 
使 用 。 


:muduo/base/Thread.cc ”缓存 每 个 线程 的 id。 
:muduo/net/EventLoop.cc ”用 于 判断 当前 线程 是 否 只 有 一 个 
EventLoop 对 象 。 


以 上 例子 都 是 _thread 修 饰 POD 类 型 的 变量 。 

如 果 要 用 到 thread local 的 class 对 象 ， 可 以 考虑 使 用 
muduo::ThreadLocal<T> 和 muduo::ThreadLocalSingleton<T> 这 两 个 
class， 它 能 在 线程 退出 时 销毁 class 对 象 。 例 如 
examples/asio/chat/server threaded highperformance.cc 用 
ThreadLocalSingleton 来 保存 每 个 EventLoop 线 程 所 管辖 的 客户 连接 ， 以 
实现 高 效 的 消息 转发 。 


4.6 ”多 线程 与 IO 


这 可 算是 本 章 最 为 天 键 的 一 太 。 本 书 只 讨论 同步 ID ， 包 括 阻塞 与 
非 阻塞 ， 不 讨论 异步 IO (AIO) 。 在 进行 多 线程 网 络 编程 的 时 候 ， 几 个 
自然 的 问题 是 : 如 何 处 理 IO? 能 否 多 个 线程 同时 读 写 同一 个 socket 文 件 
首 述 符 *? 我 们 知道 用 多 线程 同时 处 理 多 个 socket 通 常 可 以 提高 效率 ， 
那么 用 多 线程 处 理 同一 个 socket 也 可 以 提高 效率 吗 ? 

首先 ， 操 作文 件 描 述 符 的 系统 调用 本 身 是 线程 安全 的 ， 我 们 不 用 
担心 多 个 线程 同时 操作 文件 描述 符 会 造成 进程 朋 溃 或 内 核 骨 溃 。 

但 是 ， 多 个 线程 同时 操作 同一 个 socket 文 件 描述 符 确实 很 麻烦 ， 我 
认为 是 得 不 偿 失 的 。 需 要 考虑 的 情况 如 下 : 


-如果 一 个 线程 正在 阻塞 地 read(2) 某 个 socket， 而 另 一 个 线程 
close(2) 了 此 socket。 

:如果 一 个 线程 正在 阻塞 地 accept(2) 某 个 listening socket， 而 另 一 个 
线程 close(2) 了 此 socket。 

.更 糟糕 的 是 ， 一 个 线程 正 准备 read(2) 某 个 socket， 而 另 一 个 线程 
close(2) 了 此 socket; 第 三 个 线程 又 恰好 open(2) 了 另 一 个 文件 描述 符 ， 其 


fd 号 码 正 好 与 前 面 的 socket 相 同 。 这 样 程序 的 逻辑 就 混乱 了 (8§4.7) 。 


我 认为 以 上 这 几 种 情况 都 反映 了 程序 逻辑 设计 上 有 问题 。 

现在 假设 不 考虑 关闭 文件 描述 符 ， 只 考虑 读 和 写 ， 情 况 也 不 见得 
多 好 。 因 为 socket 读 写 的 特点 是 不 保证 完整 性 ， 读 100 字 节 有 可 能 只 返 
回 20 字 节 ， 写 操作 也 是 一 样 的 。 


:如 果 两 个 线程 同时 read 同 一 个 TCP socket， 两 个 线程 几乎 同时 各 自 
收 到 一 部 分 数据 ， 如 何 把 数据 拼 成 完整 的 消息 ? 如 何 知道 哪 部 分 数据 
先 到 达 ? 

:如 果 两 个 线程 同时 write 同 一 个 TCP socket， 每 个 线程 都 只 发 出 去 
半 条 消息 ， 那 接收 方 收 到 数据 如 何 处 理 ? 

:如 果 给 每 个 TCP socket 配 一 把 锁 ， 让 同时 只 能 有 一 个 线程 读 或 写 
此 socket， 似 乎 可 以 “解决 ”问题 ， 但 这 样 还 不 如 直接 始终 让 同一 个 线程 
来 操作 此 socket 来 得 简单 。 

:对 于 非 阻 塞 1O， 情 况 是 一 样 的 ， 而 且 收 发 消息 的 完整 性 与 原子 性 
几乎 不 可 能 用 锁 来 保证 ， 因 为 这 样 会 阻塞 其 他 IO 线程 。 


如 此 看 来 ， 理 论 上 只 有 read 和 write 可 以 分 到 两 个 线程 去 ， 因 为 TCP 
socket 是 双向 IO。 问 题 是 真 的 值得 把 read 和 write 拆 开 成 两 个 线程 吗 ? 

以 上 讨论 的 都 是 网 络 IO， 那 么 多 线程 可 以 加 速 磁盘 IO 吗 ?》 首 先 要 
避免 lseek(2)/ read(2) 的 race condition 〈84.2) 。 做 到 这 一 点 之 后 ， 据 我 
看 ， 用 多 个 线程 read 或 write 同 一 个 文件 也 不 会 提速 。 不 仅 如 此 ， 多 个 线 
程 分 别 read 或 write 同一 个 磁盘 上 的 多 个 文件 也 不 见得 能 提速 。 因 为 每 块 
磁盘 都 有 一 个 操作 队列 ， 多 个 线程 的 读 写 请 求 到 了 内 核 是 排队 执行 
的 。 只 有 在 内 核 缓存 了 大 部 分 数据 的 情况 下 ， 多 线程 读 这 些 热 数 据 才 
可 能 比 单 线程 快 。 多 线程 磁盘 IO 的 一 个 思路 是 每 个 磁盘 配 一 个 线程 ， 
把 所 有 针对 此 磁盘 的 IO 都 挪 到 同一 个 线程 ， 这 样 或 许 能 避免 或 碱 少 内 
核 中 的 锁 争 用 。 我 认为 应 该 用 “显然 是 正确 ”的 方式 来 编写 程序 ， 一 个 
文件 只 由 一 个 进程 中 的 一 个 线程 来 读 写 ， 这 种 做 法 显然 是 正确 的 。 


为 了 简单 起 匈 ， 我 认为 多 线程 程序 应 该 遵循 的 原则 是 : 每 个 文件 
苗 述 符 只 由 一 个 线程 操作 ， 从 而 轻松 解决 消息 收发 的 顺序 性 问题 ， 也 
避免 了 关闭 文件 描述 符 的 各 种 race condition。 一 个 线程 可 以 操作 多 个 文 
件 描述 符 ， 但 一 个 线程 不 能 操作 别 的 线程 拥有 的 文件 描述 符 。 这 一 点 
不 难 做 到 ，muduo 网 络 库 已 经 把 这 些 细节 封装 了 。 

epoll 也 遵循 相同 的 原则 。Linux 文 档 并 没有 说 明 : 当 一 个 线程 正 阻 
塞 在 epoll_ wait() 上 时 ， 另 一 个 线程 往 此 epoll fd 添加 一 个 新 的 监视 fd 会 
发 生 什 么 。 新 fd 上 的 事件 会 不 会 在 此 次 epoll_wait() 调 用 中 返回 ? 为 了 稳 
妥 起 见 ， 我 们 应 该 把 对 同一 个 epoll fd 的 操作 (添加 、 删 除 、 修 改 、 等 
待 ) 都 放 到 同一 个 线程 中 执行 ， 这 正 是 我 们 需要 
muduo::EventLoop::wakeupO 的 原因 。 

当然 ， 一 般 的 程序 不 会 直接 使 用 epoll、read、write， 这 些 底层 操作 
都 由 网 络 库 代 劳 了 。 

这 条 规则 有 两 个 例外 : 对 于 磁盘 文件 ， 在 必要 的 时 候 多 个 线程 可 
以 同时 调用 pread(2)/pwrite(2) 来 读 写 同一 个 文件 ;对 于 UDP， 由 于 协议 
本 身 保证 消息 的 原子 性 ， 在 适当 的 条 件 下 (比如 消息 之 间 彼 此 独立 ) 
可 以 多 个 线程 同时 读 写 同一 个 UDP 文件 描述 符 。 


4.7 用 RAII 包 装 文件 描述 符 


本 节 谈 一 谈 在 多 线程 程序 中 如 何 管理 文件 描述 符 。Linux 的 文件 描 
述 符 (file descriptor) 是 小 整数 ， 在 程序 刚刚 启动 的 时 候 ，0 是 标准 输 
入 ，1 是 标准 输出 ，2 是 标准 错误 。 这 时 如 果 我 们 新 打开 一 个 文件 ， 它 
的 文件 描述 符 会 是 3， 因 为 POSIX 标 准 要 求 每 次 新 打开 文件 ( 含 
socket) 的 时 候 必 须 使 用 当前 最 小 可 用 的 文件 描述 符号 码 。 

POSIX 这 种 分 配 文件 描述 符 的 方式 稍 不 注意 就 会 造成 串 话 。 比 如 
前 面 举 过 的 例子 ， 一 个 线程 正 准 备 read(2) 某 个 socket， 而 第 二 个 线程 几 
乎 同时 close(2) 了 此 socket; 第 三 个 线程 又 恰好 open(2) 了 另 一 个 文件 描述 
符 ， 其 号 码 正好 与 前 面 的 socket 相 同 (因为 比 它 小 的 号 码 都 被 占用 
了 ) 。 这 时 第 一 个 线程 可 能 会 读 到 不 属于 它 的 数据 ， 不 仅 如 此 ， 还 把 


第 三 个 线程 的 功能 也 破坏 了 ， 因 为 第 一 个 线程 把 数据 读 走 了 (TCP 连接 
的 数据 只 能 读 一 次 ， 磁 盘 文件 会 移动 当前 位 置 ) 。 另 外 一 种 情况 ， 一 

个 线程 从 fd 二 8 收 到 了 比较 耗 时 的 请 求 ， 它 开始 处 理 这 个 请 求 ， 并 记 住 
要 把 响应 结果 发 给 fd 二 8。 但 是 在 处 理 过 程 中 ，fd= 二 8 断 开 连 接 ， 被 关闭 
了 ， 又 有 新 的 连接 到 来 ， 碰 巧 使 用 了 相同 的 fd 三 8。 当 线程 完成 响应 的 
计算 ， 把 结果 发 给 fd 二 8 时 ， 接 收 方 已 经 物 是 人 非 ， 后 果 难 以 预料 。 

在 单线 程 程序 中 ， 或 许可 以 通过 某 种 全 局 表 来 避免 串 话 ， 在 多 线 
程 程序 中 ， 我 不 认为 这 种 做 法 会 是 高 效 的 (通常 意味 着 每 次 读 写 都 要 
对 全 局 表 加 锁 ) 。 

在 C++ 里 解决 这 个 问题 的 办 法 很 简单 : RAII。 用 Socket 对 象 包装 文 
件 摘 述 符 ， 所 有 对 此 文件 摘 述 符 的 读 写 操作 都 通过 此 对 象 进行 ， 在 对 
象 的 析 构 函数 里 关闭 文件 描述 符 。 这 样 一 来 ， 只 要 Socket 对 象 还 活着 ， 
就 不 会 有 其 他 Socket 对 象 跟 它 有 一 样 的 文件 摘 述 符 ， 也 就 不 可 能 串 话 。 
剩 下 的 问题 就 是 做 好 多 线程 中 的 对 象 生命 期 管理 ， 这 在 第 1 章 已 经 完美 
解决 了 。 

引申 问题 : 为 什么 服务 端 程序 不 应 该 关闭 标准 输出 (fd 二 1) 和 标 
准 错误 (fd 二 2) ? 因为 有 些 第 三 方 库 在 特殊 紧急 情况 下 会 往 stdout 或 
stderr 打 印 出 错 信 息 ， 如 果 我 们 的 程序 关闭 了 标准 输出 (fd 二 1) 和 标准 
错误 (fd 二 2) ， 这 两 个 文件 描述 符 有 可 能 被 网 络 连 接 占用 ， 结 果 造 成 
对 方 收 到 莫名 其 妙 的 数据 。 正 确 的 做 法 是 把 stdout 或 stderr 重 定向 到 磁盘 
文件 (最 好 不 要 是 /dev/null) ， 这 样 我 们 不 至 于 丢失 关键 的 诊断 信息 。 
当然 ， 这 应 该 由 启动 服务 程序 的 看 门 狗 进程 完成 <， 对 服务 程序 本 身 是 
透明 的 。 

现代 C++ 的 一 个 特点 是 对 象 生 命 期 管理 的 进步 ， 体 现在 不 需要 手工 
delete 对 象 。 在 网 络 编程 中 ， 有 的 对 象 是 长 命 的 (例如 TcpServer) ， 有 
的 对 象 是 短命 的 (例如 TcpConnection) 。 长 命 的 对 象 的 生命 期 往往 和 
整个 程序 一 样 长 ， 那 就 很 容易 处 理 ， 直 接 使 用 全 局 对 象 (或 
scoped_ptr) 或 者 做 成 main() 的 栈 上 对 象 都 行 。 对 于 短命 的 对 象 ， 其 生 
命 期 不 一 定 完全 由 我 们 控制 ， 比 如 对 方 客户 端 断 开 了 某 个 TCP socket， 
它 对 应 的 服务 端 进程 中 的 TcpConnection 对 象 (其 必然 是 个 heap 对 象 ， 


不 可 能 是 stack 对 象 ) 的 生命 也 即将 走 到 尽头 。 但 是 这 时 我 们 并 不 能 立 
刻 delete 这 个 对 象 ， 因 为 其 他 地 方 可 能 还 持 有 它 的 引用 ， 贸 然 delete 会 造 
空 悬 指针 。 只 有 确保 其 他 地 方 没有 持 有 该 对 象 的 引用 的 时 候 ， 才 能 
安全 地 销毁 对 象 ， 这 自然 会 用 到 引用 计数 。 在 多 线程 程序 中 ， 安 全 地 

销毁 对 象 不 是 一 件 轻而易举 的 事情 ， 见 第 1 章 。 

在 非 阻 塞 网 络 编程 中 ， 我 们 常常 要 面临 这 样 一 种 场景 : 从 某 个 TCP 
连接 A 收 到 了 一 个 request， 程 序 开 始 处 理 这 个 request; 处 理 可 能 要 花 一 
定 的 时 间 ， 为 了 避免 耽误 〈 阻 塞 ) 处理 其 他 request， 程 序 记 住 了 发 来 
request 的 TCP 连 接 ， 在 某 个 线程 池 中 处 理 这 个 请 求 ; 在 处 理 完 之 后 ， 会 
把 response 发 回 TCP 连 接 A。 但 是 ， 在 处 理 request 的 过 程 中 ， 客 户 端 断 
开 了 TCP 连 接 A， 而 另 一 个 客户 端 刚好 创建 了 新 连接 B。 我 们 的 程序 不 
能 只 记 住 TCP 连 接 A 的 文件 描述 符 ， 而 应 该 持 有 封装 socket 连 接 的 
TcpConnection 对 象 ， 保 证 在 处 理 request 期 间 TCP 连 接 A 的 文件 描述 符 不 
会 被 关闭 。 或 者 持 有 TcpConnection 对 象 的 弱 引 用 (weak_ptr) ， 这 样 能 
知道 socket 连 接 在 处 理 request 期 间 是 否 已 经 关闭 了 ，fd=8 的 文件 描述 符 
到 底 是 “前 世 ” 还 是 “今生 ”。 

否则 的 话 ， 旧 的 TCP 连 接 A 一 断 开 ，TcpConnection 对 象 销 毁 ， 关 闭 
了 旧 的 文件 描述 符 (RAII) ， 而 且 新 连接 B 的 socket 文 件 描述 符 有 可 能 
等 于 之 前 断 开 的 TCP 连 接 (这 是 完全 可 能 的 ，POSIX 要 求 每 次 新 建文 件 
昔 述 符 时 选取 当前 最 小 的 可 用 的 整数 ) 。 当 程序 处 理 完 旧 连接 的 
request 时 ， 就 有 可 能 把 response 发 给 新 的 TCP 连 接 B， 造 成 串 话 。 

为 了 应 对 这 种 情况 ， 防 止 访问 失效 的 对 象 或 者 发 生 网 络 串 话 ， 
muduo 使 用 shared_ptr 来 管理 TcpConnection 的 生命 期 。 这 是 唯一 一 个 采 
用 引用 计数 方式 管理 生命 期 的 对 象 。 如 果 不 用 shared_ptr， 我 想 不 出 其 
他 安全 且 高 效 的 办 法 来 管理 多 线程 网 络 服务 端 程序 中 的 并 发 连接 。 


4.8 RAII 与 fork0) 


在 编写 C++ 程 序 的 时 候 ， 我 们 总 是 设法 保证 对 象 的 构造 和 析 构 是 成 
对 出 现 的 ， 否 则 就 几乎 一 定 会 有 内 存 泄漏 。 在 现代 C++ 中 ， 这 一 点 不 难 


做 到 (81.7) 。 利 用 这 一 特性 ， 我 们 可 以 用 对 象 来 包装 资源 ， 把 资源 管 
理 与 对 象 生命 期 管理 统一 起 来 (RAID 。 但 是 ， 假 如 程序 会 fork()， 这 
一 假设 就 会 被 破坏 了 。 考 虑 下 面 这 个 例子 ，Foo 对 象 构造 了 一 次 ， 但 是 
析 构 了 两 次 。 


int main() 

( Ph 
Foo foo; // 调用 构造 函数 
fork() ; // fork 为 两 个 进程 


foo.doit() // 在 父子 进程 中 都 使 用 foo 
// 析 构 函数 会 被 调用 两 次 ， 父 进程 和 子 进程 各 一 次 


如 果 Foo class 封 装 了 某 种 资源 ， 而 这 个 资源 没有 被 子 进程 继承 ， 那 
ROP 而 我 们 没有 办 法 自动 预防 这 
一 点 ， 总 不 能 每 次 申请 一 个 资产 就 去 调用 一 次 pthread_atforkO 吧 ? 

fork() 之 后 ， 子 进程 继承 了 父 进程 的 几乎 全 部 状态 ， 但 也 有 少数 例 
外 。 子 进程 会 继承 地 址 空间 和 文件 的 述 符 ， 因 此 用 于 管理 动态 内 存 和 
文件 描述 符 的 RAII class 都 能 正常 工作 。 但 是 子 进 程 不 会 继承 : 


. 父 进程 的 内 存 锁 ，mlock(2)、mlockall(2)。 
' 父 进程 的 文件 锁 ，fcntl(2)。 
: 父 进程 的 某 些 定时 器 ，setitimer(2)、alarm(2)、timer_create(2) 等 


.其 他 ， 见 man 2 fork。 


通常 我 们 会 用 RAII 手 法 来 管理 以 上 种 类 的 资源 《加 锁 解锁 、 创 建 
销毁 定时 器 等 等 ) ， 但 是 在 fork0 出 来 的 子 进 程 中 不 一 定 正 常 工作 ， 因 
为 资源 在 forkO 时 已 经 被 释放 了 。 比 方 说 用 RAII 技 法 封装 
timer_create(y/timer_delete(0)， 在 子 进程 中 析 构 函数 调用 timer_delete0 可 
能 会 出 错 ， 因 为 试图 释放 一 个 不 存在 的 资源 。 或 者 更 糟糕 地 把 其 他 对 
象 持 有 的 timer 给 释放 了 (如 果 碰 巧 新 建 的 timer_t 与 之 重复 的 话 ) 。 


因此 ， 我 们 在 编写 服务 端 程序 的 时 候 , “是 否 允 许 fork0?” 是 在 一 开 
始 就 应 该 慎重 考虑 的 问题 ， 在 一 个 没有 为 fork0 做 好 准备 的 程序 中 使 用 
fork()， 会 遇 到 难以 预料 的 问题 。 


4.9 ”多 线程 与 fork() 


多 线程 与 fork()* 的 协作 性 很 差 。 这 是 POSIX 系 列 操 作 系 统 的 历史 包 
容 。 因 为 长 期 以 来 程序 都 是 单线 程 的 ，fork0) 运 转正 常 。 当 20 世 纪 90 年 
代 初 期 引入 多 线程 之 后 ，fork() 的 适用 范围 大 为 缩减 。 

fork() 一 般 不 能 在 多 线程 程序 中 调用 :2s， 因 为 Linux 的 fork() 只 克隆 
当前 线程 的 thread of control， 不 克隆 其 他 线程 。fork() 之 后 ， 除 了 当前 
线程 之 外 ， 其 他 线程 都 消失 了 。 也 就 是 说 不 能 一 下 子 fork0 出 一 个 和 父 
进程 一 样 的 多 线程 子 进程 。Linux 没 有 forkall() 这 样 的 系统 调用 ， 
forkall() 其 实 也 是 很 难 办 的 (从 语意 上 ) ， 因 为 其 他 线程 可 能 等 在 
condition variable 上 ， 可 能 阻塞 在 系统 调用 上 ， 可 能 等 着 mutex 以 跨 入 临 
界 区 ， 还 可 能 在 密集 的 计算 中 ， 这 些 都 不 好 全 盘 搬 到 子 进程 里 。 

fork() 之 后 子 进程 中 只 有 一 个 线程 ， 其 他 线程 都 消失 了 ， 这 就 造成 
一 个 危险 的 局 面 。 其 他 线程 可 能 正好 位 于 临界 区 之 内 ， 持 有 了 某 个 
锁 ， 而 它 突 然 死 亡 ， 再 也 没有 机 会 去 解锁 了 。 如 果子 进程 试图 再 对 同 
一 个 mutex 加 锁 ， 就 会 立刻 死 锁 。 在 fork0O 之 后 ， 子 进程 就 相当 于 处 于 
signal handler 之 中 ， 你 不 能 调用 线程 安全 的 函数 (除非 它 是 可 重 入 
的 ) ， 而 只 能 调用 异步 信号 安全 (async-signal-safe) 的 孙 数 。 比 方 
说 ，fork() 之 后 ， 子 进程 不 能 调用 : 


-malloc(3)。 因 为 malloc() 在 访问 全 局 状态 时 几乎 肯定 会 加 锁 。 

任何 可 能 分 配 或 释放 内 存 的 图 数 ， 包 括 new、map::insertO、 
snprintf3...... 

.任何 Pthreads 孜 数 。 你 不 能 用 pthread_cond_signal(0) 去 通知 父 进程 ， 
只 能 通过 读 写 pipe(2) 来 同步 #。 

:printf() 系 列 水 数 ， 因 为 其 他 线程 可 能 恰好 持 有 stdout/stderr 的 锁 。 


:除了 man 7 signal 中 明确 列 出 的 “signal 安 全 ”函数 之 外 的 任何 疯 数 。 


照 此 看 来 ， 唯 一 安全 的 做 法 是 在 fork() 之 后 立即 调用 exec() 执 行 另 一 
个 程序 ， 彻 底 隔 断 子 进程 与 父 进程 的 联系 。 

不 得 不 说 ， 同 样 是 创建 进程 ，Windows 的 CreateProcess0O 国 数 的 顾 
虑 要 少 得 多 ， 因 为 它 创建 的 进程 跟 当 前 进程 关联 较 少 。 


4.10 “多 线程 与 signal 


Linux/Unix 的 信号 (signal) 与 多 线程 可 谓 是 水 火 不 容 s。 在 单线 程 
时 代 ， 编 写 信 号 处 理 函 数 (signal handler) 就 是 一 件 棘手 的 事情 ， 由 于 
signal 打 断 了 正在 运行 的 thread of control， 在 signal handler 中 只 能 调用 
async-signal-safe 的 函数 和 ， 即 所 谓 的 “可 重 入 (reentrant) ”函数 ， 就 好 
比 在 DOS 时 代 编 写 中 断 处 理 例 程 (ISR) = 一 样 。 不 是 每 个 线程 安全 的 
孙 数 都 是 可 重 入 的 ， 见 84.9 举 的 例子 。 

还 有 一 点 ， 如 果 signal handler 中 需要 修改 全 局 数据 ， 那 么 被 修改 的 
变量 必须 是 sig_atomic t 类 型 的 2。 否 则 被 打 断 的 国 数 在 恢复 执行 后 很 可 
能 不 能 立刻 看 到 signal handler 改 动 后 的 数据 ， 因 为 编译 器 有 可 能 假定 这 
个 变量 不 会 被 他 处 修改 ， 从 而 优化 了 内 存 访问 。 

在 多 线程 时 代 ，signal 的 语义 更 为 复杂 。 信 号 分 为 两 类 : 发 送 给 某 
一 线程 (SIGSEGV) ， 发 送 给 进程 中 的 任 一 线程 (SIGTERM) ， 还 要 
考虑 掩 码 (mask) 对 信号 的 屏 珊 等 。 特 别 是 在 signal handler 中 不 能 调用 
任何 Pthreads 孙 数 ， 不 能 通过 condition variable 来 通知 其 他 线程 。 

在 多 线程 程序 中 ， 使 用 signal 的 第 一 原则 是 不 要 使 用 signal aa。 包括 


:不 要 用 signal 作 为 IPC 的 手段 ， 包 括 不 要 用 SIGUSR1 等 信号 来 触发 
服务 端的 行为 。 如 果 确 实 需要 ， 可 以 用 89.5 介 绍 的 增加 监听 端口 的 方式 
来 实现 双向 的 、 可 远程 访问 的 进程 控制 |。 

:也 不 要 使 用 基于 signal 实 现 的 定时 函数 ， 包 括 


alarm/ualarm/setitimer/timer_create、 sleep/usleep 等 等 。 


.不 主动 处 理 各 种 异常 信号 (SIGTERM、SIGINT 等 等 ) ， 只 用 默 
认 语 义 : 结束 进程 。 有 一 个 例外 : SIGPIPE， 服 务 器 程序 通常 的 做 法 是 
忽略 此 信号 4， 否 则 如 果 对 方 断 开 连接 ， 而 本 机 继续 write 的 话 ， 会 导致 
程序 意外 终止 。 

:在 没有 别 的 替代 方法 的 情况 下 (比方 说 需要 处 理 SIGCHLD 信 
号 ) ， 把 异步 信号 转换 为 同步 的 文件 描述 符 事件 。 传 统 的 做 法 是 在 
signal handler 里 往 一 个 特定 的 pipe(2) 写 一 个 字 节 ， 在 主 程序 中 从 这 个 
pipe 读 取 ， 从 而 纳入 统一 的 IO 事件 处 理 框架 中 去 。 现 代 Linux 的 做 法 是 
采用 signalfd(2) 把 信号 直接 转换 为 文件 描述 行事 件 ， 从 而 从 根本 上 避免 
使 用 signal handlera。 


4.11 Linux 新 增 系统 调用 的 启示 


本 节 的 内 容 源 自我 的 一 篇 同名 博客 :<， 省 略 了 signalfd、timerfd、 
eventfd 等 内 容 ， 对 此 感 兴趣 的 读者 可 阅读 原文 。 

大 致 从 Linux 内 核 2.6.27 起 ， 凡 是 会 创建 文件 描述 符 的 syscall 一 般 都 
增加 了 额外 的 flags 参 数 ， 可 以 直接 指定 O_NONBLOCK 和 
FD_CLOEXEC， 例 如 : 


“accept4 - 2.6.28 
-eventfd2 - 2.6.27 
'inotify_init1 - 2.6.27 
‘pipe2 - 2.6.27 
-signalfd4 - 2.6.27 
timerfd_create - 2.6.25 


以 上 6 个 syscall， 除 了 最 后 一 个 是 2.6.25 的 新 功能 ， 其 余 的 都 是 增强 原 有 

的 调用 ， 把 数字 尾 号 去 掉 就 是 原来 的 syscall。 
O_NONBLOCK 的 功能 是 开局“ 非 阻塞 10”， 而 文件 描述 符 默 认 是 阻 

塞 的 。 这 些 创 建文 件 描述 符 的 系统 调用 能 直接 设 定 O_NONBLOCK 选 


项 ， 其 或 许 能 反映 当前 Linux (服务 端 开发 的 风向 ， 即 我 在 83.3 里 推 
荐 的 one loop per thread + (non-blocking IO with IO multiplexing) 。 从 
这 些 内 核 改动 来 看 ，non-blocking IO 已 经 主流 到 让 内 核 增 加 syscall 以 节 
省 一 次 fcntl(2) 调 用 的 程度 了 。 

另外 ， 以 下 新 系统 调用 可 以 在 创建 文件 描述 符 时 开启 
FD_CLOEXEC 选 项 : 


:dup3 - 2.6.27 
“epoll_createl - 2.6.27 
‘socket - 2.6.27 


FD_CLOEXEC 的 功能 是 让 程序 exec() 时 ， 进 程 会 自动 关闭 这 个 文 
件 描述 符 。 而 文件 描述 默认 是 被 子 进程 继承 的 (这 是 传统 Unix 的 一 种 
典型 IPC， 比 如 用 pipe(2) 在 父子 进程 间 单 向 通信 ) 。 

以 上 8 个 新 syscall 都 允许 直接 指定 FD_CLOEXEC， 或 许 说 明 fork() 
的 主要 目的 已 经 不 再 是 创建 worker process 并 通过 共享 的 文件 描述 符 和 
父 进程 保持 通信 ， 而 是 像 Windows 的 CreateProcess 那 样 创建 “干净 ”的 进 
程 (fork() 之 后 立刻 exec()) ， 其 与 父 进程 没有 多 少 瓜葛 。 为 了 回避 
forkO+execO 之 间 文 件 描述 符 泄 漏 的 race condition， 这 才 在 几乎 所 有 能 
新 建文 件 描述 符 的 系统 调用 上 引入 了 FD_CLOEXEC 人 参数， 参见 Ulrich 
Drepper 的 短文 《Secure File Descriptor Handling》 2。 

以 上 两 个 flags 在 我 看 来 ， 说 明 Linux 服 务 器 开发 的 主流 模型 正在 由 
fork() 十 worker processes 模 型 转变 为 第 3 章 推 荐 的 多 线程 模型 。fork() 的 
使 用 频 度 会 大 大 降低 ， 将 来 或 许 只 有 专门 负责 启动 别 的 进程 的 “看 门 狗 
程序 ” 才 会 调用 fork()， 而 一 般 的 网 络 服 务 器 程序 不 会 再 fork() 出 子 进程 
了 。 原 因 之 一 是 ，fork() 一 般 不 能 在 多 线程 程序 中 调用 〈84.9) 。 


小 结 


本 章 只 讨论 了 多 线程 编程 的 技术 方面 ， 没 有 讨论 设计 方面 ， 特 别 
是 没有 讨论 该 如 何 规划 一 个 多 线程 服务 程序 的 线程 数目 及 用 途 。 我 个 


人 遵循 的 编写 多 线程 C++ 程序 的 原则 如 下 : 


:线程 是 宝贵 的 ， 一 个 程序 可 以 使 用 几 个 或 十 几 个 线程 。 一 台 机 器 
上 不 应 该 同时 运行 几 百 个 、 几 千 个 用 户 线程 ， 这 会 大 大 增加 内 核 
scheduler 的 负担 ， 降 低 整 体 性 能 。 

线程 的 创建 和 销毁 是 有 代价 的 ， 一 个 程序 最 好 在 一 开始 创建 所 需 
的 线程 ， 并 一 直 反 复 使 用 。 不 要 在 运行 期 间 反 复 创 建 、 销 毁 线 程 ， 如 
果 必 须 这 么 做 ， 其 频 度 最 好 能 降 到 1 分 钟 1 次 (或 更 低 ) 。 

.每 个 线程 应 该 有 明确 的 职责 ， 例 如 IO 线程 (运行 
EventLoop::loop()， 处 理 IO 事 件 ) 、 计 算 线 程 (位 于 ThreadPool 中 ， 负 
责 计 算 ) 等 等 。 

.线程 之 间 的 交互 应 该 尽量 简单 ， 理 想 情 况 下 ， 线 程 之 间 只 用 消息 
传递 (例如 BlockingQueue) 方式 交互 。 如 果 必 须 用 锁 ， 那 么 最 好 避免 
一 个 线程 同时 持 有 两 把 或 更 多 的 锁 ， 这 样 可 彻底 防止 区 锁 。 

.要 预先 考虑 清楚 一 个 mutable shared 对 象 将 会 暴露 给 哪些 线程 ， 每 
个 线程 是 读 还 是 写 ， 读 写 有 无 可 能 并 发 进行 。 


注释 


1 这 意味 着 时 空 观 的 转变 ， 从 牛顿 的 绝对 时 空 观 转变 为 爱 因 斯 坦 的 相对 论 时 空 观 ， 分 布 
式 系统 也 面临 类 似 的 思维 方式 转变 ， 见 第 9 章 。 

2 ”在 多 CPU 机 器 上 ， 假 设 主板 上 两 个 物理 CPU 的 距离 为 15cm，CPU 主 频 是 2.4GHz， 电 信 
号 在 电路 中 的 传播 速度 按 2x10 m/s 估 算 ， 那 么 在 1 个 时 钟 周期 (0.42ns) 之 内 ， 电 信号 不 能 从 一 
个 CPU 到 达 另 一 个 CPU。 因 此 对 于 每 个 CPU 自己 这 个 观察 者 来 说 ， 它 看 到 的 事件 发 生 的 顺序 没 
有 全 局 一 致 性 。 

3 Leslie Lamport: 《Time, Clocks and the Ordering of Events in a Distributed System》 

(http://research.microsoft.com/en-us/um/people/lamport/pubs/time-clocks.pdf ) 。 

4 ， 严格 来 说 ， 全 局 running 的 赋值 和 读 取 应 该 用 mutex 或 者 memory barrier， 但 不 影响 这 里 
的 讨论 。 
包括 只 针对 POSIX 操 作 系统 (Linux、Solaris、FreeBSD 等 等 ) 的 跨 平台 。 


2004 年 Linux 2.6 内 核发 布 之 后 ，NPTL 线 程 库 。 
http://www.hpl.hp.com/techreports/2004/HPL-2004-209.pdf 
http://pubs.opengroup.org/onlinepubs/9699919799/functions/V2 chap02.html#tag 15 09 
fread_unlocked、fwrite_unlocked 等 等 ， 见 man unlocked_stdio。 


就 跟 C++ 异 常安 全 也 是 不 可 组 合 的 一 样 。 


忆 lo Ice II IO 


11 这 意味 着 标准 库容 器 不 能 采用 自 调整 (self-adjusting) 的 数据 结构 ， 比 如 splay tree， 
这 种 数据 结构 在 read 的 时 候 也 会 修改 状态 ， 见 
http://www.cs.au.dk/~gerth/aall/slides/selfadjusting.pdf 。 

12 std::random_shuffle0 可 能 是 个 例外 ， 它 用 到 了 随机 数 发 生 器 。 

13 ”最 大 值 是 /proc/sys/kernel/pid_max， 默 认 情 况 下 是 32768。 

14 ”这 个 做 法 是 受 了 glibc 封 装 getpid() 的 启发 。 

15 ”线程 数目 可 以 从 /proc/pid/status 拿 到 。 

16 ”本 章 所 指 的 “全 局 对 象 ” 也 包括 namespace 级 全 局 对 象 、 文 件 级 静态 对 象 、class 的 静态 
对 象 ， 但 不 包括 函数 内 的 静态 对 象 。 

17 http://blog.csdn.net/program think/article/details/3991107 

18 ”通常 伴随 进程 死亡 。 如 果 程 序 中 的 某 个 线程 意外 终止 ， 我 不 认为 让 进程 继续 带 伤 运 
行 下 去 有 何必 要 。 

19 http://www.cppblog.com/lymons/archive/2008/12/19/69810.html 

20 http://www.cppblog.com/lymons/archive/2008/12/25/70227.html 


21 http://www.boost.org/doc/libs/1 34 0/doc/html/thread/faq.html 
22 http://stackoverflow.com/questions/433989/posix-cancellation-points 


3 
http://pubs.opengroup.org/onlinepubs/000095399/functions/xsh_chap02 09.html#tag 02 09 05 02 

24 http://udrepper.livejournal.com/21541.html 

25 ”上 比如 ， 中 国 每 年 几 大 节日 放假 安排 要 等 到 头 一 年 年 底 才 由 国务 院 假日 办 公布 。 又 比 
如 2012 年 英 女 王 登基 60 周 年 ， 英 国 新 加 了 一 两 个 节日 。 

26 http://www.akkadia.org/drepper/tls.pdf 

27 http://gcc.gnu.org/onlinedocs/gcc/Thread 002dLocal.html 

28 ”没有 特殊 说 明 时 ， 指 TCP socket。 
参考 http://github.com/chenshuo/muduo-protorpc 的 Zurg slave 示 例 。 
在 现代 Linux glibc 中 ，fork(3) 不 是 直接 使 用 fork(2) 系 统 调 用 ， 而 是 使 用 clone(2) 
， 不 过 不 影响 这 里 的 讨论 。 
Ihttp://www.linuxprogrammingblog.com/threads-and-fork-think-twice-before-using-them 
http://www.cppblog.com/lymons/archive/2008/06/01/51836.html 
在 浮 点 数 转换 为 字符 串 的 时 候 有 可 能 需要 动态 分 配 内 存 。 
见 http://github.com/chenshuo/muduo-protorpc 中 Zurg slave 示 例 的 Process::start()。 
http://www.linuxprogrammingblog.com/all-about-linux-signals?page=11 
http://pubs.opengroup.org/onlinepubs/9699919799/functions/V2 chap02.html#tag 15 04 03 
http://en.wikipedia.org/wiki/Interrupt_handler 
http://www.gnu.org/software/libc/manual/html_mono/libc.html#Atomic-Data-Access 
http://www.cppblog.com/lymons/archive/2008/06/01/51838.html 和 51837.html 


40 在 命令 行程 序 中 ， 默 认 的 SIGPIPE 行 为 非常 有 用 。 例 如 查看 日 志 中 的 前 10 条 错误 信 
息 ， 可 以 用 管道 将 命令 串 起 来 : gunzip -clog.gz | grep ERROR | head， 由 于 head 关 闭 了 管道 的 写 
入 端 ，grep 会 遇 到 SIGPIPE 而 终止 ， 同 理 gunzip 也 就 不 需要 解压 缩 整 个 巨大 的 日 志文 件 。 这 也 可 
能 是 Unix 默 认 使 用 阻塞 IO 的 历史 原因 之 一 。 

41 ”例子 见 http://github.com/chenshuo/muduo-protorpc 中 Zurg slave 示 例 的 ChildManager 
classo 


42 http://blog.csdn.net/Solstice/article/details/5327881 
43 http://udrepper.livejournal.com/20407.html 
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第 5 章 ”高 效 的 多 线程 日 志 


“日 志 (logging) ”有 两 个 意思 : 


.诊断 日 志 (diagnosticlog) 即 log4j、logback、slf4j、glog、 
g2log、log4cxx、1log4cpp、1log4cplus、Pantheios、ezlogger 等 常用 日 志 
库 提供 的 日 志 功 能 。 

:交易 日 志 (transaction log) ” 即 数 据 库 的 write-ahead log:、 文 件 
2 等 ， 用 于 记录 状态 变更 ， 通 过 回放 日 志 可 以 逐步 恢复 


一 次 修改 之 后 的 状态 。 


本 章 的 “日 志 ” 是 前 一 个 意思 ， 即 文本 的 、 供 人 阅读 的 日 志 ， 通 常 
用 于 故障 诊断 和 追踪 (trace) :， 也 可 用 于 性 能 分 析 。 日 志 通 常 是 分 布 
式 系 统 中 事故 调查 时 的 唯一 线索 ， 用 来 追寻 蛛丝马迹 ， 查 出 元 久 |。 

在 服务 端 编程 中 ， 日 志 是 必 不 可 少 的 ， 在 生产 环境 中 应 该 做 到 
“Log Everything All The Time”。 对 于 关键 进程 ,日 志 通 常 要 记录 


1. 收 到 的 每 条 内 部 消息 的 id (还 可 以 包括 关键 字段 、 长 度 、hash 
等 ) ; 
2. 收 到 的 每 条 外 部 消息 的 全 文 : 

3. 发 出 的 每 条 消息 的 全 文 ， 每 条 消息 都 有 全 局 唯一 的 ids 
4. 关键 内 部 状态 的 变更 ， 等 等 。 


日 志 都 有 时 间 戳 ， 这 样 就 能 完整 追踪 分 布 式 系统 中 一 个 事件 
的 来 龙 去 及 也 只 有 这 样 才 能 查 清 楚 发 生 故 障 时 究竟 发 生 了 什么 ， 比 
如 业务 处 理 流程 卡 在 了 哪 一 步 。 
诊断 日 志 不 光 是 给 程序 员 看 的 ， 更 多 的 时 候 是 给 运 维 人 员 看 的 ， 
因此 日 志 的 内 容 应 避免 造成 误解 ， 不 要 误导 调查 故障 的 主攻 方向 ， 拖 
延 故障 解 决 的 时 间 。 


一 个 日 志 库 大 体 可 分 为 前 端 : (frontend) 和 后 端 (backend) 两 部 
分 。 前 端 是 供应 用 程序 使 用 的 接口 (API) ， 并 生成 日 志 消息 (og 
message) ; 后 端 则 负责 把 日 志 消 息 写 到 目的 地 (destination) 。 这 两 部 
分 的 接口 有 可 能 简单 到 只 有 一 个 回调 函数 : 
void output(const charx message, int len): 

其 中 的 message 字 符 串 是 一 条 完整 的 日 志 消息 ， 包 含 日 志 级 别 、 时 间 
戳 、 源 文件 位 置 、 绪 程 id 等 基本 字段 ， 以 及 程序 输出 的 具体 消息 内 容 。 

在 多 绪 程 程序 中 ， 前 端 和 后 端 都 与 单线 程 程序 无 甚 区别， 无非 是 
每 个 线程 有 自己 的 前 端 ， 整 个 程序 共用 一 个 后 端 。 但 难点 在 于 将 日 志 
数据 从 多 个 前 端 高 效 地 传输 到 后 端 :。 这 是 一 个 典型 的 多 生产 者 - 单 消 费 
者 问题 ， 对 生产 者 (前 端 ) 而 言 ， 要 尽量 做 到 低 延 迟 、 低 CPU 开销 、 
无 阻塞 ; 对 消费 者 〈 后 端 ) 而 言 ， 要 做 到 足够 大 的 吞吐 量 ， 并 占用 较 


A: 
少 资 源 。 


对 C++ 程序 而 言 ， 最 好 整个 程序 (包括 主 程序 和 程序 库 ) 都 使 用 相 
同 的 日 志 库 ， 程 序 有 一 个 整体 的 日 志 输 出 ， 而 不 要 各 个 组 件 有 各 上 自 的 
日 志 输 出 。 从 这 个 意义 上 讲 ， 日 志 库 是 个 singleton。 

C++ 日 志 库 的 前 端 大 体 上 有 两 种 API 风 格 : 


.C/Java 的 printf(fmt, ...) 风 格 ， 例 如 
log_info("Received %d bytes from %s", len, getClientNamel().c_str()); 


.C++ 的 stream << 风 格 ， 例 如 
LOG_INFO << "Received " << len << " bytes from " << 
getClientName(); 


muduo 日 志 库 是 C++ stream 有 风格， 这 样 用 起 来 更 自然 ， 不 必 费 心 保 
持 格式 字符 串 与 参数 类 型 的 一 致 性 ， 可 以 随 用 随 写 ， 而 且 是 类 型 安全 4” 
的 。 

stream 风 格 的 另 一 个 好 处 是 当 输 出 的 日 志 级 别 高 于 语句 的 日 志 级 别 
时 ， 打 印 日 志 是 个 空 操作 +:， 运 行 时 开销 接近 零 。 比 方 说 当日 志 级 别 为 
WARNING 时 ，LOG _INFO << 是 空 操作 ， 这 个 语句 根本 不 会 调用 


std::string getClientName() 遂 数 ， 减 小 了 开销 。 而 printf 风 格 不 易 做 到 这 
= 


muduo 没 有 用 标准 库 中 的 iostream， 而 是 自己 写 的 LogStream class2 
， 这 主要 是 出 于 性 能 原因 〈$11.6.6) 。 


5.1 ”功能 需求 


常规 的 通用 日 志 库 如 log4j s/logback* - 通常 会 提供 丰富 的 功能 》 但 这 
些 功能 不 一 定 全 都 是 必需 的 。 


1. 日 志 消息 有 多 种 级 别 (level) ， 如 TRACE、DEBUG、INFO、 
WARN、ERROR、FATAL 等 。 
2. 日 志 消 息 可 能 有 多 个 目的 地 (appender) ， 如 文件 、socket、 
日 志 消 息 的 格式 可 配置 (ayout) ， 例 如 
org. pe log4j.PatternLayouto 
4. 可 以 设置 运行 时 过 滤器 (filter) ， 控 制 不 同 组 件 的 日 志 消 息 的 
级 别 和 目的 地 。 


在 上 面 这 几 项 中 ， 我 认为 除了 第 一 项 之 外 ， 其 余 三 项 都 是 非 必需 

的 功能 。 
日 志 的 输出 级 别 在 运行 时 可 调 ， 这 样 同一 个 可 执行 文件 可 以 分 别 

在 QA 测 试 环境 的 时 候 输 出 DEBUG 级 别 的 日 志 ， 在 生产 环境 输出 INFO 
级 别 的 日 志 s。 在 必要 的 时 候 也 可 以 临时 在 线 调 整 日 志 的 输出 级 别 。 例 
如 某 台 机 器 的 消息 量 过 大 、 日 志文 件 太 多 、 磁 盘 空间 紧张 ， 那 么 可 以 
临时 调整 为 WARNING 级 别 输 出 ， 减 少 日 志 数 目 。 又 比如 某 个 新 上 线 的 
进程 的 行为 略 显 古怪 ， 则 可 以 临时 调整 为 DEBUG 级 别 输出 ， 打 印 更 细 
节 的 日 志 消 息 以 便 分 析 查 错 。 调 整 日 志 的 输出 级 别 不 需要 重新 编译 ， 
也 不 需要 重启 进程 ， 只 要 调用 muduo::Logger::setLogLevel() 就 能 即时 生 
效 。 


对 于 分 布 式 系统 中 的 服务 进程 而 言 ， 日 志 的 目的 地 (destination) 
只 有 一 个 : 本 地 文件 。 往 网 络 写 日 志 消 息 是 不 靠 谱 的 ， 因 为 诊断 日 志 
的 功能 之 一 正 是 诊断 网 络 故 障 ， 比 如 连接 断 开 (网 卡 或 交换 机 故 
障 ) 、 网 络 暂时 不 通 (若干 秒 之 内 没有 收 到 心跳 消息 ) 、 网 络 拥塞 
(消息 延迟 明显 加 大 ) 等 等 。 如 果 日 志 消 息 也 是 通过 网 络 发 到 另 一 台 
机 器 上 的 ， 那 岂 不 是 一 损 俱 损 ? 如 果 接 收 网 络 日 志 消 息 的 服务 器 (日 
志 服 务 器 ) 发 生 故 障 或 者 出 现 进程 死 锁 《阻塞 ) ， 通 常会 导致 发 送 日 
志 的 多 个 服务 进程 阻塞 ， 或 者 内 存 暴涨 (用 户 态 和 内 核 的 TCP 缓 存 ) ， 
这 无 异 于 放大 了 单机 故障 。 往 网 络 写 日 志 消 息 的 另 一 个 坏处 是 增加 网 
络 带 宽 消 耗 。 试 想 收 到 一 条 业务 消息 、 发 出 一 条 业务 消息 时 都 会 写 日 
志 ， 如 果 写 到 网 络 上 岂 不 是 让 网 络 带宽 消耗 翻 倍 ， 加 剧 trashing? 同 
理 ， 应 该 避免 往 网 络 文件 系统 (例如 NFS) 上 写 日 志 ， 这 等 于 掩 耳 咨 
铃 。 

以 本 地 文件 为 日 志 的 destination， 那 么 日 志文 件 的 滚动 (rolling) 
是 必需 的 ， 这 样 可 以 简化 日 志 归 档 (archive) 的 实现 。rolling 的 条 件 通 
常 有 两 个 : 文件 大 小 (例如 每 写 满 1GB 就 换 下 一 个 文件 ) 和 时 间 〈 例 
如 每 天 零点 新 建 一 个 日 志文 件 ， 不 论 前 一 个 文件 有 没有 写 满 ) 。muduo 
日 志 库 的 LogFile 会 自动 根据 文件 大 小 和 时 间 来 主动 滚动 日 志文 件 。 婚 
然 能 主动 rolling， 自 然 也 就 不 必 支 持 SIGUSR1 了 ， 毕 竟 多 线程 程序 处 理 
signal 很 麻烦 (84.10) 。 


一 个 典型 的 日 志文 件 的 文件 名 如 下 : 
logfile_test.2012060-144022.hostname.3605.1og 


文件 名 由 以 下 几 部 分 组 成 : 


:第 1 部 分 logfile_test 是 进程 的 名 字 。 通 常 是 main() 冰 数 参数 中 argv[0] 
的 basename(3)， 这 样 容易 区 分 究竟 是 哪个 服务 程序 的 日 志 。 必 要 时 还 
可 以 把 程序 版 本 加 进去 。 

:第 2 部 分 是 文件 的 创建 时 间 (GMT 时 区 ) 。 这 样 很 容易 通过 文件 
名 来 选择 某 一 时 间 范 围 内 的 日 志 ， 例 如 用 通配符 *.20120603-14* 表 示 
2012 年 6 月 3 日 下 午 2 点 (GMT) 左右 的 日 志文 件 (s)。 


:第 3 部 分 是 机 器 名 称 。 这 样 即便 把 日 志文 件 拷贝 到 别 的 机 器 上 也 能 
追溯 其 来 源 。 

第 4 部 分 是 进程 id。 如 果 一 个 程序 一 秒 之 内 反复 重启 ， 那 么 每 次 都 
会 生成 不 同 的 日 志文 件 ， 人 参考 $9.4。 

第 5 部 分 是 统一 的 后 缀 名 .log。 同 样 是 为 了 便于 周边 配套 脚本 的 编 
三 


muduo 的 日 志文 件 滚动 没有 采用 文件 改名 的 办 法 ， 即 dmesg.log 是 最 
新 日 志 ，dmesg.log.1 是 前 一 个 日 志 ，dmesg.log.2.9z 是 更 早 的 日 志 等 。 这 
种 做 法 的 一 个 好 处 是 dmesg.log 始终 是 最 新 日 志 ， 便 于 编写 某 些 及 时 解 
析 日 志 的 脚本 。 将 来 可 以 增加 一 个 功能 ， 每 次 滚动 日 志文 件 之 后 立刻 
创建 (更新) 一 个 symlink，logfile test.log 始终 指向 当前 最 新 的 日 志文 
件 ， 这 样 达到 相同 的 效果 。 

日 志文 件 压缩 与 归档 * (archive) 不 是 日 志 库 应 有 的 功能 ， 而 应 该 
交 给 专门 的 脚本 去 做 ， 这 样 C++ 和 Java 的 服务 程序 可 以 共享 这 一 基础 设 
施 。 如 果 想 更 换 日 志 压 缩 算法 或 归档 策略 也 不 必 动 业务 程序 ， 改 改 周 
边 配 套 脚 本 就 行 了 。 磁 盘 空间 监控 也 不 是 日 志 库 的 必 备 功能 。 有 人 或 
许 曾 经 遇 到 日 志文 件 把 磁盘 占 满 的 情况 ， 因 此 希望 日 志 库 能 限制 空间 
使 用 ， 例 如 只 分 配 10GB 磁 盘 空间 ， 用 满 之 后 就 冲 掉 旧 日 志 ， 重 复 利用 
空间 ， 就 像 循环 磁带 一 样 。 殊 不知 如 果 出 现 程序 死 循环 拼命 写 日 志 的 
异常 情况 ， 那 么 往往 是 开头 的 几 条 日 志 最 关键 ， 它 往往 反映 了 引发 异 
常 (busy-loop) 的 原因 〈 例 如 收 到 某 条 非法 消息 ) ， 后 面 都 是 无 用 的 
垃圾 日 志 。 如 果 日 志 库 具备 重复 利用 空间 的 “功能 ”， 只 会 帮 倒 忙 。 磁 
盘 写 入 的 带宽 按 100MB/s 计 算 ， 写 满 一 个 100GB 的 磁盘 分 区 需要 16 分 
钟 ， 这 足够 监控 系统 报警 并 人 工 干 预 了 (89.2.1) 。 

往 文件 写 日 志 的 一 个 常见 问题 是 ， 万 一 程序 朋 溃 ， 那 么 最 后 若干 
条 日 志 往往 就 丢失 了 ， 因 为 日 志 库 不 能 每 条 消息 都 fush 硬 盘 ， 更 不 能 
每 条 日 志 都 open/close 文 件 ， 这 样 性 能 开销 太 大 。muduo 日 志 库 用 两 个 
办 法 来 应 对 这 一 点 ， 其 一 是 定期 (默认 3 秒 ) 将 缓冲 区 内 的 日 志 消 息 
flush 到 硬盘 ; 其 二 是 每 条 内 存 中 的 日 志 消 息 都 带 有 cookie (或 者 叫 哨兵 


值 /sentry) ， 其 值 为 某 个 函数 的 地 址 ， 这 样 通过 在 core dump 文 件 中 查 
找 cookiez 就 能 找到 尚未 来 得 及 写 入 磁盘 的 消息 。 
志 消 息 的 格式 是 固定 的 ， 不 需要 运行 时 配置 ， 这 样 可 节省 每 条 

日 志 解 析 格 式 字 符 串 的 开销 。 我 认为 日 志 的 格式 在 项 目的 整个 生命 周 
期 几乎 不 会 改变 ， 因 为 我 们 经 常会 为 不 同 目的 编写 parse 日 志 的 脚本 ， 
既 要 解析 最 近 几 天 的 日 志文 件 ， 也 要 和 几 个 月 之 前 ， 甚 至 一 年 之 前 的 

日 志文 件 的 同类 数据 做 对 比 。 如 果 在 此 期 间 日 志 格 式 变 了 ， 和 势必 会 增 
加 很 多 无 谓 的 工作 量 。 如 果真 的 需要 调整 消息 格式 ， 直 接 修改 代码 并 
重新 编译 即 可 。 以 下 是 muduo 日 志 库 的 默认 消息 格式 : 
日 期 时 间 微 秒 线程 级 别 正文 源 文 件 名 : 行 号 
20120603 08:02:46.1257702 23261 INFO Hello - test.cc:51 


20120603 08:02:46.1269262 23261 WARN World - test.cc:52 
20120603 08:02:46.1269972Z 23261 ERROR Error - test.cc:53 


日 志 消 息 格式 有 几 个 要 点 : 


:尽量 每 条 日 志 占 一 行 。 这 样 很 容易 用 awk、sed、grep 等 命令 行 工 
具 来 快速 联机 分 析 日 志 ， 比 方 说 要 查看 “2012-06-03 08:02:00” 至 “2012- 


06-03 08:02:59” 这 1 分 钟 内 每 秒 打印 日 志 的 条 数 (直方 图 ) ， 可 以 运行 
$ grep -0 ' 人 20120603 08:02:.." | Sort | uniq -c 


.时 间 惟 精确 到 微 秒 。 每 条 消息 都 通过 gettimeofday(2) 获 得 当前 时 
间 ， 这 么 做 不 会 有 什么 性 能 员 失 。 因为 在 x86-64 Linux 上 ， 
gettimeofday(2) 不 是 系统 调用 ， 不 会 陷入 内 核 s* (可 用 strace(1) 验 证 
muduo/base/tests/Timestamp _unittest.cc ) 。 

始终 使 用 GMT 时 区 (Z) 。 对 于 跨 洲 的 分 布 式 系 统 而 言 ， 可 省 去 
本 地 时 区 转换 的 麻烦 ( 别 忘 了 主要 西方 国家 大 多 实行 夏令 时 ) ， 更 易 
于 追查 事件 的 顺序 。 

.打印 线程 id。 便 于 分 析 多 线程 程序 的 时 序 ， 也 可 以 检测 死 锁 2。 这 
里 的 线程 id 是 指 调 用 LOG_INFO << 的 线程 ， 线 程 id 的 获取 见 84. 

-打印 日 志 级 别 。 在 线 查 错 的 时 候 先 看 看 有 无 ERROR 日 志 ， 通 常 可 
加 速 定位 问题 。 

.打印 源 文 件 名 和 行 号 。 修 复 bug 的 时 候 不 至 于 摘 错 对 象 。 


每 行 日 志 的 前 4 个 字段 的 宽度 是 固定 的 ， 以 空格 分 隔 ， 便 于 用 脚本 
解析 。 另 外 ， 应 该 避免 在 日 志 格 式 (特别 是 消息 id*) 中 出 现 正则 表达 
式 的 元 字符 (meta character) ， 例 如 '[' 和 等 等 ， 这 样 在 用 less(1) 查 看 
日 志文 件 的 时 候 查 找 字符 串 更 加 便捷 。 

运行 时 的 日 志 过 滤器 (filter) 或 许 是 有 用 的 ， 例 如 控制 不 同 部 件 
(程序 库 ) 的 输出 日 志 级 别 ， 但 我 认为 这 应 该 放 到 编译 期 去 做 ， 整 个 
程序 有 一 个 整体 的 输出 级 别 就 足够 好 了 。 同 时 我 认为 一 个 程序 同时 写 
多 个 日 志文 件 : 是 非常 罕见 的 需求 ， 这 可 以 事后 留 给 log archiver 来 分 
流 ， 不 必 做 到 日 志 库 中 。 不 实现 filter 自 然 也 能 减 小 生成 每 条 日 志 的 运 
行 时 开销 ， 可 以 提高 日 志 库 的 性 能 。 


5.2 ”性 能 需求 


编写 Linux 服 务 端 程序 的 时 候 ， 我 们 需要 一 个 高 效 的 日 志 库 。 只 有 
日 志 库 足够 高 效 ， 程 序 员 才 敢 在 代码 中 输出 足够 多 的 诊断 信息 ， 减 小 
运 维 难度 ， 提 升 效 率 。 高 效 性 体现 在 几 方面 : 


.每 秒 写 几 千 上 万 条 日 志 的 时 候 没 有 明显 的 性 能 损失 。 

.能 应 对 一 个 进程 产生 大 量 日 志 数 据 的 场景 ， 例 如 1GB/min。 

:不 阻塞 正常 的 执行 流程 。 

:在 多 线程 程序 中 ， 不 造成 争 用 (contention) 。 这 里 列举 一 些 具体 
的 性 能 指标 ， 考 虑 往 普通 7200rpm SATA 硬 盘 写 日 志文 件 的 情况 : 

:人 磁盘 带宽 约 是 110MB/s， 日 志 库 应 该 能 瞬时 写 满 这 个 带宽 (不必 
持续 太 久 ) 。 

.假如 每 条 日 志 消息 的 平均 长 度 是 110 字 节 ， 这 意味 着 1 秒 要 写 100 万 


条 日 志 。 


以 上 是 “高 性 能 ”日 志 库 的 最 低 指标 。 如 果 磁 盘 带 宽 更 高 ， 那 么 日 
志 库 的 预期 性 能 指标 也 会 相应 提高 。 反 过 来 说 ， 在 磁盘 带宽 确定 的 情 


况 下 ， 日 志 库 的 性 能 只 要 “足够 好 ?就行 了 。 假 如 某 个 神奇 的 日 志 库 1 秒 
能 往 /dev/null 写 1000MB 数 据 ， 那 么 到 哪里 去 找 这 么 快 的 磁盘 来 让 程序 
写 诊 断 日 志 呢 ? 

这 些 指标 初 看 起 来 有 些 异 想 天 开 ， 什 么 程序 需要 1 秒 写 100 万 条 日 
志 消 息 呢 ? 换 一 个 角度 其 实 很 容易 想 明 白 ， 如 果 一 个 程序 Ce 
CPU 资源 和 磁盘 带宽 可 以 做 到 1 秒 写 100 万 条 日 志 消 息 ， 那 么 当 只 
秒 写 10 万 条 Se 立刻 就 能 腾 出 90% 的 资源 来 干 正事 ee 
务 ) 。 相 反 ， 如 果 一 个 日 志 库 在 满 负荷 的 情况 下 只 能 1 秒 写 10 万 条 日 
吉 ， i 恐怕 就 只 能 1 秒 写 1 万 条 日 志 才 不 会 影响 正常 
业务 处 理 ， 这 其 实 钳制 了 服务 器 的 吞吐 量 。 

以 下 是 muduo 日 志 库 在 两 全 机 器 上 的 实测 性 能 数据 *。 


97 注 肖 107.6 242 渤 现 256.2 
/dev/null 91.2 万 101.1 234.2 万 247.7 


/tmp/log 213.0 万 


可 见 muduo 日 志 库 在 现在 的 PC 上 能 写 到 每 秒 200 万 条 消息 ， 带 宽 足 
em 性 能 是 达标 的 :。 
为 了 实现 这 样 的 性 能 指标 ，muduo 日 志 库 的 实现 有 几 点 优化 措施 值 


得 一 提 : 


.时 间 惟 字符 串 中 的 日 期 和 时 间 两 部 分 是 缓存 的 ， 一 秒 之 内 的 多 条 
日 志 只 需 重 新 格式 化 微 秒 部 分 s。 例 如 此 处 出 现 的 3 条 日 志 消息 中 ， 
“20120603 08:02:46” 是 复 用 的 ， 每 条 日 志 只 需要 格式 化 微 秒 部 分 
(“.1257702Z”) 。 
日 志 消息 的 前 4 个 字段 是 定 长 的 ， 因 此 可 以 避免 在 运行 期 求 字符 串 
长 度 (不 会 反复 调用 strlen*) 。 因 为 编译 器 认识 memcpy0O 加 数 ， 对 于 
定 长 的 内 存 复制 ， 会 在 编译 期 把 它 inline 展 开 为 高 效 的 目标 代码 。 


线程 id 是 预先 格式 化 为 字符 串 ， 在 输出 日 志 消 息 时 只 需 简 单 拷 幢 
几 个 字 节 。 见 CurrentThread::tidString()。 

每 行 日 志 消 息 的 源 文 件 名 部 分 采用 了 编译 期 计算 来 获得 
basename， 避 人 免 运行 期 strrchr(3) 开 销 。 见 SourceFile class， 这 里 利用 了 
gcc 的 内 置 冰 数 。 


5.3 ”多 线程 异步 日 志 


多 线程 程序 对 日 志 库 提出 了 新 的 需求 : 线程 安全 ， 即 多 个 线程 可 
以 并 发 写 日 志 ， 两 个 线程 的 日 志 消 息 不 会 出 现 交 织 。 线 程 安全 不 难 办 
到 ， 简 单 的 办 法 是 用 一 个 全 局 mutex 保 护 IO， 或 者 每 个 线程 单独 写 一 个 
日 志文 件 z， 但 这 两 种 做 法 的 高 效 性 就 卉 忧 了 。 前 者 会 造成 全 部 线程 抢 
一 个 锁 ， 后 者 有 可 能 让 业务 线程 阻塞 在 写 磁 盘 操 作 上 。 

我 认为 一 个 多 线程 程序 的 每 个 进程 最 好 只 写 一 个 日 志文 件 ， 这 样 
分 析 日 志 更 容易 ， 不 必 在 多 个 文件 中 跳 来 跳 去 。 再 说 多 线程 写 多 个 文 
件 也 不 一 定 能 提速 ， 见 此 处 的 分 析 。 解 决 办 法 不 难 想 到 ， 用 一 个 背景 
线程 负责 收集 日 志 消 息 ， 并 写 入 日 志文 件 ， 其 他 业务 线程 只 管 往 这 个 
“日 志 线 程 > 发 送 日 志 消 息 ， 这 称 为 “异步 日 志 ”。 

在 多 线程 服务 程序 中 ， 异 步 日 志 ( 叫 “ 非 阻塞 日 志 ” 似 乎 更 准确 ) 
是 必需 的 ， 因 为 如 果 在 网 络 IO 线 程 或 业务 线程 中 直接 往 磁 盘 写 数据 的 
话 ， 写 操作 偶尔 可 能 阻塞 长 达 数 秒 之 久 (原因 很 复杂 ， 可 能 是 磁盘 或 
磁盘 控制 器 复位 ) 。 这 可 能 导致 请 求 方 超时 ， 或 者 耽误 发 送 心跳 消 
息 ， 在 分 布 式 系统 中 更 可 能 造成 多 米 诺 上 骨牌 效应 ， 例 如 误 报 死 锁 引发 
自动 failover 等 。 因 此 ， 在 正常 的 实时 业务 处 理 流程 中 应 该 彻底 避免 磁 
盘 IO， 这 在 使 用 one loop per thread 模 型 的 非 阻塞 服务 端 程序 中 尤为 重 
要 ， 因 为 线程 是 复 用 的 ， 阻 塞 线程 意味 着 影响 多 个 客户 连接 。 

我 们 需要 一 个 “队列 ”来 将 日 志 前 端的 数据 传送 到 后 端 〈 日 志 线 
程 ) ， 但 这 个 “队列 ”不必 是 现成 的 BlockingQueue<std::string>， 因 为 不 
用 每 次 产生 一 条 日 志 消 息 都 通知 (notify()) 接收 方 。 


muduo 日 志 库 采用 的 是 双 缓 冲 (double buffering) 技术 *， 基 本 思 
路 是 准备 两 块 buffer: A 和 B， 前 端 负责 往 buffer A 填 数据 (日 志 消 
息 ) ， 后 端 负责 将 buffer B 的 数据 写 入 文件 。 当 buffer A 写 满 之 后 ， 交 换 
A 和 B， 让 后 端 将 buffer A 的 数据 写 入 文件 ， 而 前 端 则 往 buffer B 填 入 新 
的 日 志 消 息 ， 如 此 往复 。 用 两 个 buffer 的 好 处 是 在 新 建 日 志 消 息 的 时 候 
不 必 等 待 磁盘 文件 操作 ， 也 避免 每 条 新 日 志 消 息 都 触发 唤醒) 后 端 
日 志 线 程 。 换 言 之 ， 前 端 不 是 将 一 条 条 日 志 消 息 分 别传 送 给 后 端 ， 而 
是 将 多 条 日 志 消 息 拼 成 一 个 大 的 buffer 传 送 给 后 端 ， 相 当 于 批 处理 ， 减 
少 了 线程 唤醒 的 频 度 ， 降 低 开 销 。 另 外 ， 为 了 及 时 将 日 志 消 息 写 入 文 
件 ， 即 便 buffer A 未 满 ， 日 志 库 也 会 每 3 秒 执行 一 次 上 述 交换 写 入 操 
作 。 

muduo 异 步 日 志 的 性 能 开销 大 约 是 前 端 每 写 一 条 日 志 消 息 耗 时 
1.0pus~1.6pso 


关键 代码 


实际 实现 采用 了 四 个 缓冲 区 ， 这 样 可 以 进一步 减少 或 避免 日 志 前 
端的 等 待 。 数 据 结构 如 下 (muduo/base/AsyncLoggingh ) : 
typedef boost::ptr_vector<LargeBuffer> BufferVector.; 
typedef BufferVector::auto_type BufferPptr; 


muduo: :MutexLock mutex_; 
muduo: :Condition cond_; 


BufferpPtr currentBuffer_; // 当前 缓冲 
BufferPtr nextBuffer_; // 预备 缓冲 
BufferVector buffers_; // 待 写 入 文件 的 已 填 满 的 缓冲 


其 中 ，LargeBuffer 类 型 是 FixedBuffer classtemplate 的 一 份 具体 实现 
(instantiation) ， 其 大 小 为 4MB， 可 以 存 至 少 1000 条 日 志 消 息 。 
boost::ptr_vector<T>::auto_type 类 型 类 似 C++11 中 的 std::unique_ptr， 上 有 具备 
移动 语义 (move semantics) ， 而 且 能 自动 管理 对 象 生命 期 。mutex_ 用 
于 保护 后 面 的 四 个 数据 成 员 。buffers_ 存 放 的 是 供 后 端 写 入 的 buffer。 
先 来 看 发 送 方 代 码 ， 即 此 处 回调 函数 output0 的 实现 。 


muduo/base/AsyncLogging.cc 
28 void AsyncLogging::append(const char* logline, int len) 


29 { 

30 muduo: :MutexLockGuard lock(mutex_); 

31 if (currentBuffer_->avail() > len) 

32 { // most common case: buffer is not full, copy data here 
33 currentBuffer_->append(logline, len); 


和 
35 else // buffer is full, push it, and find next spare buffer 


36 { 

37 buffers_.push_back(currentBuffer_.release()); 

38 

39 if (nextBuffer_) // is there is one already, use it 

40 

41 currentBuffer_ = boost::ptr_container::move(nextBuffer_); // 移动 ， 而 非 复 制 
42 

43 else // allocate a new one 

44 { 

45 currentBuffer_.reset(new LargeBuffer); // Rarely happens 
46 

47 currentBuffer_->append(logline, len); 

48 cond_.notify(); 

49 有， 

50 } 


muduo/base/AsyncLogging.cc 


前 端 在 生成 一 条 日 志 消 息 的 时 候 会 调用 AsyncLogging::append()。 

在 这 个 函数 中 ， 如 果 当 前 缓冲 (currentBuffer ) 剩余 的 空间 足够 大 
(L31) ， 则 会 直接 把 日 志 消息 拷贝 (追加 ) 到 当前 缓冲 中 (L33) ， 

这 是 最 常见 的 情况 。 这 里 拷贝 一 条 日 志 消 息 并 不 会 带 来 多 大 开销 。 前 
后 端 代码 的 其 余部 分 都 没有 拷贝 ， 而 是 简单 的 指针 交换 。 

否则 ， 说 明 当 前 缓冲 已 经 写 满 ， 就 把 它 送 入 (移入 ) buffers_ 

(L37) ， 并 试图 把 预备 好 的 另 一 块 缓冲 (nextBuffer ) 移 用 (move) 

为 当前 缓冲 〈L39~L42) ， 然 后 追加 日 志 消息 并 通知 (唤醒 ) 后 端 开 
台 写 入 日 志 数据 〈L47~L48) 。 以 上 两 种 情况 在 临界 区 之 内 都 没有 耗 
时 的 操作 ， 运 行 时 间 为 常数 。 

如 果 前 端 写 入 速度 太 快 ， 一 下 子 把 两 块 缓 冲 都 用 完了 ， 那 么 只 好 
分 配 一 块 新 的 buffer， 作 为 当前 缓冲 (L43~L46) ， 这 是 极 少 发 生 的 情 
况 o 

再 来 看 接收 方 (后 端 实现 ， 这 里 只 给 出 了 最 关键 的 临界 区 内 的 
代码 〈L59~L72) ， 其 他 琐事 请 见 源 文 件 。 


muduo/base/AsyncLogging.cc 
51 void AsyncLogging::threadFunc() 

52 攻 

53 BufferPtr newBufferl(new LargeBuffer); 

54 BufferPtr newBuffer2(new LargeBuffer); 

55 BufferVector buffersToWrite; // reserve() 从 覆 


56 while (running_) 

57 { 

58 // swap out what need to be written, keep CS short 

59 { 

60 muduo: :MutexLockGuard lock(mutex_) ; 

61 if (buffers_.empty()) // unusual usage! 

62 { 

63 cond_.waitForSeconds(flushInterval_) ; 

64 } 

65 buffers_.push_back(currentBuffer_.release()); // 移动 ， 而 非 复 制 

66 currentBuffer_. = boost::ptr_container::move(newBuffer1); // 移动 ， 而 非 复制 
67 buffersToWrite.swap(buffers_); // 内 部 指针 交换 ， 而 非 复制 

68 if (!nextBuffer_) 

69 { 

70 nextBuffer_ = boost::ptr_container::move(newBuffer2);  // 移动 ， 而 非 复制 
71 } 

72 

73 // output buffersToWrite to file 

74 // re-fill newBuffer1 and newBuffer2 


出 
76 // flush output 
i 
muduo/base/AsyncLogging.cc 


首先 准备 好 两 块 空闲 的 buffer， 以 备 在 临界 区 内 交换 (L53、 
L54) 。 在 临界 区 内 ， 等 待 条 件 触发 (L61~L64) ， 这 里 的 条 件 有 两 
个 : 其 一 是 超时 ， 其 二 是 前 端 写 满 了 一 个 或 多 个 buffer。 注 意 这 里 是 非 
常规 的 condition variable 用 法 ， 它 没有 使 用 while 循 环 ， 而 且 等 待 时 间 有 
上 限 。 

当 “ 条 件 ” 满 足 时 ， 先 将 当前 缓冲 (currentBuffer ) 移入 buffers_ 
(L65) ， 并 立刻 将 空 亲 的 newBuffer1l 移 为 当前 缓冲 (L66) 。 注 意 这 
整 段 代码 位 于 临界 区 之 内 ， 因 此 不 会 有 任何 race condition。 接 下 来 将 
buffers_ 与 buffersToWrite 交 换 (L67) ， 后 面 的 代码 可 以 在 临界 区 之 外 
安全 地 访问 buffersToWrite， 将 其 中 的 日 志 数 据 写 入 文件 (L73) 。 临 界 
区 里 最 后 干 的 一 件 事 情 是 用 newBuffer2 替 换 nextBuffer (L68~~L71) ， 
这 样 前 端 始终 有 一 个 预备 buffer 可 供 调配 。nextBuffer 可 以 减少 前 端 临 


界 区 分 配 内 存 的 概率 ， 缩 短 前 端 临界 区 长 度 。 注 意 到 后 端 临 界 区 内 也 
没有 耗 时 的 操作 ， 运 行 时 间 为 常数 。 

L74 会 将 buffersToWrite 内 的 buffer 重 新 填充 newBuffer1 和 
newBuffer2， 这 样 下 一 次 执行 的 时 候 还 有 两 个 空间 buffer 可 用 于 替换 前 
端的 当前 缓冲 和 预备 缓冲 。 最 后 ， 这 四 个 缓冲 在 程序 启动 的 时 候 会 全 
部 填充 为 0， 这 样 可 以 避免 程序 热身 时 page fault 引 发 性 能 不 稳定 。 


运行 图 示 


以 下 再 用 图 表 展 示 前 端 和 后 端的 具体 交互 情况 。 一 开始 先 分 配 好 
四 个 缓冲 区 A、B、C、D， 前 端 和 后 端 各 持 有 其 中 两 个 。 前 端 和 后 端 各 
有 一 个 缓冲 区 数组 ， 初 始 时 都 是 空 的 。 

第 一 种 情况 是 前 端 写 日 志 的 频 度 不 高 ， 后 端 3 秒 超时 后 将 “当前 缓 
冲 currentBuffer ” 写 入 文件 ， 见 图 5-1 (图 中 变量 名 为 简写 ， 下 同 ) 。 


curr=A curr = A (80%) cur=C CU = 
next=B next=B next=B next=B 
buffers = [ ] buffers = [ |] buffers = [A, ] bufters = [ |] 
和 . -和 - frontend 
0 2.9 3 3+ 
newl=C newl = null newl = null newl=A 
new2=D new2=D new2=D new2=D 
buffers = [ ] bufters = [ |] buffers = [A, ] buffers = [ ] 
. . . . -= backend 
0 3 3 二 Write done 
图 5-1 


在 第 2.9 秒 的 时 候 ，currentBuffer 使 用 了 80% ， 在 第 3 秒 的 时 候 后 端 
线程 醒 过 来 ， 先 把 currentBuffer 送 入 buffers ”〈L65) ， 再 把 newBuffer1 
移 用 为 currentBuffer (L66) 。 随 后 第 3+ 秒 ， 交 换 buffers_ 和 
buffersToWrite (L67) ， 离 开 临 界 区 ， 后 端 开始 将 buffer A 写 入 文件 。 

写 完 (write done) 之 后 再 把 newBnuffer1 重 新 填 上 ， 等 待 下 一 次 
cond_.waitForSeconds() 返 回 。 

后 面 在 画图 时 将 有 所 简化 ， 不 再 男 出 buffers_ 和 buffersToWrite 交 换 
的 步骤 。 


第 二 种 情况 ， 在 3 秒 超时 之 前 已 经 写 满 了 当前 缓冲 ， 于 是 唤醒 后 端 
线程 开始 写 入 文件 ， 见 图 5-2。 


curr = 人 curr = A (80%) er=B Cr 起 
next=B next=B next = null next = 了 
buffers = | ] buffers = | ] buffers = [A., ] bufters = | |] 
. 他 . 他 » frontend 
0 3 1.8 1.8+ 
newl=C new1l = null newl=B 
new2=D new2 = null new2=A 
buffers = | ] buffers = [A, B. | buffers = | ] 
® 和 e ® » backend 
0 ] .8 十 write done 
图 5-2 


在 第 1.5 秒 的 时 候 ，currentBuffer 使 用 了 80% ; 第 1.8 秒 ， 
currentBuffer 写 满 ， 于 是 将 当前 缓冲 送 入 buffers (L37) ， 并 将 
nextBuffer 移 用 为 当前 缓冲 〈L39~L42) ， 然 后 唤醒 后 端 线程 开始 写 
入 。 当 后 端 线程 唤醒 之 后 (第 1.8+ 秒 ) ， 先 将 currentBuffer 送 入 
buffers ”〈L65) ， 再 把 newBuffer1 移 用 为 currentBuffer (L66) ， 然 后 
交换 buffers_ 和 buffersToWrite (L67) ， 最 后 用 newBuffer2 替 换 
nextBuffer  〈L68~L71) ， 即 保证 前 端 有 两 个 空 缓冲 可 用 。 离 开 临 界 
区 之 后 ， 将 buffersToWrite 中 的 缓冲 区 A 和 B 写 入 文件 ， 写 完 之 后 重新 填 
充 newBuffer1 和 newBuffer2， 完 成 一 次 循环 。 


上 面 这 两 种 情况 都 是 最 常见 的 ， 再 来 看 一 看 前 端 需要 分 配 新 buffer 
的 两 种 情况 。 

第 三 种 情况 ， 前 端 在 短 时间 内 密集 写 入 日 志 消息 ， 用 完了 两 个 缓 
冲 ， 并 重新 分 配 了 一 块 新 的 缓冲 ， 见 图 5-3。 


cur=A cur= A (80%) curr= B (90%) curr=E cur=C 


next=B next=B next = null next = null next = D 
buffers = [ buffers = [] buffers = [A,] buffers=[A,B,] buffers=|[] 
. . . . . = frontend 
0 Ee 1.8 1.9 
newl=C newl = null newl=B 
new2=D new2 = null new2=A 
buffers = [ ] buffers = [A,B,E,] buffers=[] 
. .- . = backend 
0 1.8+ write done 
5-3 


在 第 1.8 秒 的 时 候 ， 缓 冲 A 已 经 写 满 ， 缓 冲 B 也 接近 写 满 ， 并 且 已 经 
notify() 了 后 端 线程 ， 但 是 出 于 种 种 原因 ， 后 端 线程 并 没有 立刻 开始 工 
作 。 到 了 第 1.9 秒 ， 缓 冲 B 也 已 经 写 满 ， 前 端 线程 新 分 配 了 缓冲 E。 到 了 
第 1.8+ 秒 ， 后 端 线程 终于 获得 控制 权 ， 将 C、D 两 块 缓冲 交 给 前 端 ， 并 
开始 将 A、B、E 依 次 写 入 文件 。 一 段 时 间 之 后 ， 完 成 写 入 操作 ， 用 A、 
B 重 新 填充 那 两 块 空 内 缓冲 。 注 意 这 里 有 意 用 A 和 了 B 来 填充 
newBnuffer1/2， 而 释放 了 缓冲 E， 这 是 因为 使 用 A 和 B 不 会 造成 page 
faulto 

思考 题 : 阅读 代码 并 回答 ， 缓 冲 E 是 何 时 在 哪个 线程 释放 的 ? 

第 四 种 情况 ， 文 件 写 入 速度 较 慢 ， 导 致 前 端 耗 尽 了 两 个 缓冲 ， 并 
分 配 了 新 缓冲 ， 见 图 5-4。 


cuTr = 人 curr = A (80%) curr=B eur=C curr=D curr=E curr=B 
next = 了 next = 了 next = null next = D next = null next = null next = A 
buffers =[] buffers =[] buffers=[A,] buffers =[] buffers=[C,] buffers = [C., D.,] buffers = [ ] 
各 如 » . 条 pe 
0 13 1.8 1.8+ 2.0 2 过 frontend 
newl=C newl = null newl =B newl = null 
new2=D new2 = null new2=A new2 = null 
buffers = [ ] buffers = [A, B, ] buffers =[] buffers= |[C., D, E,] 
. . 时 人 -2 
0 1.8+ write done Write done+ 
图 5-4 


前 1.8+ 秒 的 场景 和 前 面 “第 二 种 情况 ”相同 ， 前 端 写 满 了 一 个 缓冲 ， 
唤醒 后 端 线程 开始 写 入 文件 。 之 后 ， 后 端 花 了 较 长 时 间 (大 半 秒 ) 才 
将 数据 写 完 。 这 期 间 前 端 又 用 完了 两 个 缓冲 ， 并 分 配 了 一 个 新 的 缓 
冲 ， 这 期 间 前 端的 notify0 已 经 丢失 。 当 后 端 写 完 (write done) 后 ， 发 


现 buffers_ 不 为 空 (L61) ， 立 刻 进入 下 一 循环 。 即 替换 前 端的 两 个 缓 
冲 ， 并 开始 一 次 写 入 C、D、E。 假 定 前 端 在 此 期 间 产生 的 日 志 较 少 ， 
请 读者 补 全 后 续 的 情况 。 


改进 措施 


前 面 我 们 一 共 准 备 了 四 块 缓冲 ， 应 该 足以 应 付 日 常 的 需求 。 如 果 
需要 进一步 增加 buffer 效 目 ， 可 以 改 用 下 面 的 数据 结构 。 


BufferPtr currentBuffer_; // 当前 缓冲 
BufferVector ae // 空闲 缓冲 
BufferVector fullBuffers_:; // 已 写 满 的 缓冲 


初始 化 时 在 emptyBuffers_ 中 放 入 足够 多 空 内 buffer， 这 样 前 端 几乎 
不 会 遇 到 需要 在 临界 区 内 新 分 配 buffer 的 情况 ， 这 是 一 种 空间 换 时 间 的 
做 法 。 为 了 避免 短 时 突 发 写 大 量 日 志 造 成 新 分 配 的 buffer 占 用 过 多 内 
存 ， 后 端 代码 应 该 保证 emptyBuffers _ 和 fullBuffers 的 长 度 之 和 不 超过 某 
个 定 值 。buffer 在 前 端 和 后 端 之 间 流 动 ， 形 成 一 个 循环 ， 如 图 5-5 所 示 。 


fullButfters | put current pop | emptyBufters 
- , - | 
queue | Buffer | stack 
~ drain I | push -一 
Re backend 人 

write file 

l 
图 5-5 


以 上 改进 留 作 练习 。 
如 果 日 志 消息 堆积 怎么 办 


万 一 前 端 陷入 死 循环 ， 拼命 发 送 心 \/ 志 消 息 ， 超过 后 端的 处 理 ( 输 
出 ) 能 力 ， 会 导致 什么 后 果 ? 对 于 同步 日 志 来 说 ， 这 不 是 问题 ， 因 为 
阻塞 IO 自然 就 限制 了 前 端的 写 入 速度 ， 起 到 了 节 流 疝 (throttling) 的 作 


用 。 但 是 对 于 异步 日 志 来 说 ， 这 就 是 典型 的 生产 速度 高 于 消费 速度 问 
题 ， 会 造成 数据 在 内 存 中 堆积 ， 严 重 时 引发 性 能 问题 (可 用 内 存 不 
足 ) 或 程序 骨 溃 (分配 内 存 失 败 ) 。 

muduo 日 志 库 处 理 日 志 堆 积 的 方法 很 简单 : 直接 丢掉 多 余 的 日 志 
buffer， 以 腾 出 内 存 ， 见 muduo/base/AsyncLogging.cc 第 87~96 行 代码 。 这 
样 可 以 防止 日 志 库 本 身 引 起 程序 故障 ， 是 一 种 自我 保护 措施 。 将 来 或 
许可 以 加 上 网 络 报警 功能 ， 通 知人 工 介入 ， 以 尽快 修复 故障 。 


5.4 ”其 他 方案 


当然 在 前 端 和 后 端 之 间 高 效 传递 日 志 消 息 的 办 法 不 止 这 一 种 ， 上 比 
方 说 使 用 常规 的 muduo::BlockingQueue<std::string> 或 
muduo::BoundedBlockingQueue<std::string> 在 前 后 端 之 间 传 递 日 志 消 
息 ， 其 中 每 个 std::string 是 一 条 消息 。 这 种 做 法 每 条 日 志 消 息 都 要 分 配 
内 存 ， 特 别 是 在 前 端 线 程 分 配 的 内 存 要 由 后 端 线程 释放 ，[ 因 此 对 malloc 
的 实现 要 求 较 高 ， 需 要 针对 多 线程 特别 优化 。 另 外 ， 如 果 用 这 种 方 
案 ， 那 么 需要 修改 LogStream 的 Buffer， 使 之 直接 将 日 志 写 到 std::string 
中 ， 可 节省 一 次 内 存 拷贝 。 

相 比 前 面 展示 的 直接 拷贝 日 志 消 息 的 做 法 ， 这 个 传递 指针 的 方案 
似乎 会 更 高 效 ， 但 是 据 我 测试 *， 直 接 拷 贝 日 志 数 据 的 做 法 比 传递 措 针 
快 3 倍 (在 每 条 日 志 消 息 不 大 于 4kB 的 时 候 ) ， 估 计 是 内 存 分 配 的 开销 
所 致 。 因 此 muduo 日 志 库 只 提供 了 8$5.3 介 绍 的 这 一 种 异步 日 志 机 制 。 这 
再 次 说 明 * 性 能 ”不 能 赁 感觉 说 了 算 ， 一 定 要 有 典型 场景 的 测试 数据 作 
为 支撑 。 

muduo 现 在 的 异步 日 志 实 现 用 了 一 个 全 局 锁 。 尽 管 临界 区 很 小 ， 但 
是 如 果 线 程 数目 较 多 ， 锁 争 用 (lock contention) 也 可 能 影响 性 能 。 一 
种 解决 办 法 是 像 Java 的 ConcurrentHashMap 那 样 用 多 个 桶 子 (bucket) ， 
前 端 写 日 志 的 时 候 再 按 线程 id 哈 希 到 不 同 的 bucket 中 ， 以 减少 
contention。 这 种 方案 的 后 端 实 现 较为 复杂 ， 有 兴趣 的 读者 可 以 试 一 
试 。 


O 


为 了 简化 实现 ， 目 前 muduo 日 志 库 只 允许 指定 日 志文 件 的 名 字 ， 不 
允许 指定 其 路 径 。 日 志 库 会 把 日 志文 件 写 到 当前 路 径 ， 因 此 可 以 在 启 
动 脚本 (shell 脚 本 ) 里 改变 当前 路 径 ， 以 达到 相同 的 目的 。 

Linux 默 认 会 把 core dump 写 到 当前 目录 ， 而 且 文 件 名 是 固定 的 


COrCo 


为 了 不 让 新 的 core dump 文 件 冲 掉 旧 的 ， 我 们 可 以 通过 sysctl 设 置 


kernel.core_pattern 参 数 (也 可 以 修改 /proc/sys/kernel/core pattern) ， 让 
每 次 core dump 都 产生 不 同 的 文件 。 例 如 设 为 %e.%t.%p.%u.core， 其 中 
各 个 参数 的 意义 见 man 5 core。 另 外 也 可 以 使 用 Apport 来 收集 有 用 的 诊 
断 信息 ， 见 https://Wiki.ubuntu.com/Apport 。 


注释 


1 


http://en.wikipedia.org/wiki/Write-ahead_logging 不 同 的 数据 库 有 不 同 的 称呼 ， 如 binary 


log、redo log 等 。 


IO Ico IO IO II 上 II 


10 


http://en.wikipedia.org/wiki/Journaling file system 
http://en.wikipedia.org/Wwiki/Traceability 
http://highscalability.com/log-everything-all-time 

第 >、3 两 条 或 许 不 适用 于 分 布 式 存储 系统 的 bulk data， 但 适用 于 meta data。 


可 用 89.4 的 办 法 生成 。 
muduo/base/Logging.{h,cc} 
muduo/base/LogFile.{h,cc} 
muduo/base/AsyncLogging.{h,cc} 
printf(fmt, ..) 风 格 在 C++ 中 也 可 以 做 到 类 型 安全 ， 但 是 在 C++11 引 入 variadic template 


之 前 很 费劲 。 因 为 C++ 不 允许 把 non-POD 对 象 通过 可 变 参数 (.…) 传 入 函数 。Pantheios 日 志 库 
用 的 是 重 载 函 数 模板 的 办 法 (http://www.pantheios.org) 。 


11 


的 日 志 。 


何 、 


http://www.drdobbs.com/cpp/201804215 
muduo/base/LogStream.{h,cc} 
http://logging.apache.org/log4)/1.2/manual.html 
http://logback.qos.ch/manual/index.html 


muduo 默 认输 出 INFO 级 别 的 日 志 ， 可 以 通过 环境 变量 控制 输出 DEBUG 或 TRACE 级 别 


例如 在 非 繁 忙 时 段 把 压缩 后 的 日 志文 件 拷贝 到 某 个 NFS 人 位置， 以 便 集中 保存 和 分 析 。 
可 以 用 gdb 的 find 命 令 。 用 strings(1) 命 令 也 能 从 core 文 件 里 找到 不 少 有 用 的 信息 。 
muduo/base/tests/Timestamp _unittest.cc 

例如 某 个 繁忙 的 线程 在 某 一 时 刻 之 后 突然 不 再 log 任 何 消 息 ， 往 往 意味 着 发 生 了 死 锁 
〈 僵 死 ) 。 

对 于 Base64 编 码 的 消息 id， 可 以 将 其 中 的 '+' 替 换 为 '-"， 见 RFC 4648 第 5 节 。 

例如 不 同 的 日 志 级 别 或 不 同 的 组 件 写 到 不 同 的 文件 。 

比方 说 一 秒 处 理 两 三 万 条 消息 ， 每 条 消息 写 三 条 日 志 : 从 哪里 收 到 、 计 算 结 果 如 
到 哪里 。 


已 民 久 GBRERB 


muduo/base/tests/Logging test.cc 

日 志文 件 是 顺序 写 入 ， 是 对 磁盘 最 友好 的 一 种 负载 ， 对 IOPS 要 求 不 高 。 
见 muduo/base/Logging.cc 中 的 Logger::Impl::formatTime() 遂 数 。 

见 muduo/base/Logging.cc 中 的 class T 和 operator<<(LogStreamg& s, Tv)。 
Google C++ 日 志 库 的 默认 多 线程 实现 即 如 此 。 
http://en.wikipedia.org/wiki/Multiple_buffering 

代码 见 recipes/logging/AsyncLogging*。 


第 2 部 分 
muduo 网 络 库 


第 6 章 muduo 网 络 库 简 介 
6.1 ”由 来 


2010 年 3 月 我 写 了 一 篇 《学 之 者 生 ， 用 之 者 死 一 一 ACE 历 史 与 简 
评 》!:!， 其 中 提 到 “我 心目 中 理想 的 网 络 库 ” 的 样子 : 


线程 安全 ， 原 生 支 持 多 核 多 线程 。 

:不 考虑 可 移植 性 ， 不 跨 平 台 ， 只 支持 Linux， 不 支持 Windows。 

:主要 支持 x86-64， 兼 顾 IA32。 (实际 上 muduo 也 可 以 运行 在 ARM 
5 3 

:不 支持 UDP， 只 支持 TCP。 

:不 支持 IPvV6， 只 支持 IPv4。 

:不 考虑 广域网 应 用 ， 只 考虑 局 域 网 。 (实际 上 muduo 也 可 以 用 在 
广域网 上 。) 

:不 考虑 公 网 ， 只 考虑 内 网 。 不 为 安全 性 做 特别 的 增强 。 

:只 支持 一 种 使 用 模式 : 非 阻塞 IO 十 one event loop per thread， 不 支 
持 阻塞 IO。 

API 简单 易 用 ， 只 暴露 具体 类 和 标准 库 里 的 类 。API 不 使 用 non- 
trivial templates， 也 不 使 用 虚 了 图 数 。 

只 满足 常用 需求 的 90% ， 不 面面俱到 ， 必 要 的 时 候 以 app 来 适应 
libo 

:只 做 library， 不 做 成 framework。 

争取 全 部 代码 在 5000 行 以 内 (不 含 测试 ) 。 

:在 不 增加 复杂 度 的 前 提 下 可 以 支持 FreeBSD/Darwin， 方便 将 来 用 
Mac 作 为 开发 用 机 ， 但 不 为 它 做 性 能 优化 。 也 就 是 说 ，IO multiplexing 
使 用 poll(2) 和 epoll(4)。 

:以 上 条 件 都 满足 时 ， 可 以 考虑 搭配 Google Protocol Buffers RPC。 


在 想 清楚 这 些 目 标 之 后 ， 我 开始 第 三 次 尝试 编写 自己 的 C++ 网 络 
库 。 与 前 两 次 不 同 ， 这 次 我 一 开始 就 想 好 了 库 的 名 字 ， 叫 muduo ( 木 
铎 ) :， 并 在 Google code 上 创建 了 项 目 : http://code.google.com/p/muduo/ 
。 muduo 以 git 为 版 本 管理 工具 ， 托 管 于 https://github.com/chenshuo/muduo 
。 muduo 的 主体 内 容 在 2010 年 5 月 底 已 经 基本 完成 ，8 月 底 发 布 0.1.0 版 ， 
现在 (2012 年 11 月 ) 的 最 新 版 本 是 0.8.2。 


为 什么 需要 网 络 库 


使 用 Sockets API 进 行 网 络 编程 是 很 容易 上 手 的 一 项 技术 ， 论 半天 
时 间 | 读 完 一 两 篇 网 上 教程 ， 相 信和 不 难 写 出 能 相互 连通 的 网 络 程序 。 例 
如 下 面 这 个 网 络 服务 端 和 客户 端 程序 ， 它 用 Python 实现 了 一 个 简单 的 
“Hello" 协 议 ， 客 户 端 发 来 姓名 ， 服 务 端 返回 问候 语 和 服务 器 的 当前 时 
间 。 


hello-server.py 
#!/usr/bin/python 


import socket, time 


serversocket.bind(('', 8888)) 


l 
2 
3 
4 
5 serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
6 
7 serversocket.listen(5) 

8 


9 while True: 


10 (clientsocket，address) = serversocket.accept() # 等 待 客 户 端 连接 

11 data = clientsocket.recv(4096) # 接收 姓名 

12 datetime = time.asctime()+'\n’ 

13 clientsocket.send('Hello ' + data) # 发 回 问候 

14 clientsocket.send('My time is ' + datetime) # 发 送 服务 器 当前 时 间 
15 clientsocket.close() # 关闭 连接 


hello-server.py 


hello-client.py 
20 ”# 省 略 import 等 
21 Sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
22 sock.connect((sys.argv[1]，8888)) # 服务 器 地 址 由 命令 行 指 定 


23 sock.send(os.getlogin() + '\n’') # 发 送 姓 名 
24 message = sock.recv(4096) # 接收 响应 
25 print message # 打印 结果 
26 sock.close() # 关闭 连接 


hello-client.py 


上 面 两 个 程序 使 用 了 全 部 主要 的 SocketsAPI， 包 括 socket(2)、 
bind(2)、listen(2)、accept(2)、connect(2)、recv(2)、send(2)、close(2)、 
gethostbyname(3) 等 ， 似 乎 网 络 编程 一 点 也 不 难 嘛 。 在 同一 台 机 器 上 运 
行 上 面 的 服务 端 和 客户 端 ， 结 果 不 出 意料 : 
$ ./hello-client.py localhost 


Hello schen 
My time is Sun May 13 12:56:44 2012 


但 是 连接 同一 局 域 网 的 另外 一 台 服 务 器 时 ， 收 到 的 数据 是 不 完整 
的 。 错 在 哪里 ? 


$ ./hello-client.py atom 
Hello schen 


出 现 这 种 情况 的 原因 是 高 级 语言 (Java、Python 等 ) 的 Sockets 库 并 
没有 对 Sockets API 提 供 更 高 层 的 封装 ， 直 接 用 它 编写 网 络 程序 很 容易 
掉 到 陷阱 里 ， 因 此 我 们 需要 一 个 好 的 网 络 库 来 降低 开发 难度 。 网 络 库 
的 价值 还 在 于 能 方便 地 处 理 并 发 连接 (86.6) 。 


6.2 ”安装 


源 文件 tar 包 的 下 载 地 址 : 
http://code.google.com/p/muduo/downloads/list ， 此 处 以 
muduo-0.8.2-beta.tar.gz 为 例 。 

muduo 使 用 了 Linux 较 新 的 系统 调用 (主要 是 timerfd 和 eventfd) ， 
要 求 Linux 的 内 核 版 本 大 于 2.6.28。 我 自己 用 Debian 6.0 Squeeze / Ubuntu 
10.04 LTS 作 为 主要 开发 环境 (内核 版 本 2.6.32) ， 以 g++ 4.4 为 主要 编译 
器 版 本 ， 在 32-bit 和 64-bit x86 系 统 都 编译 测试 通过 。muduo 在 Fedora 13 
和 CentOS 6 上 也 能 正常 编译 运行 ， 还 有 热心 网 友 为 Arch Linux 编 写 了 
AUR 文 件 :。 

如 果 要 在 较 旧 的 Linux 2.6 内 核 : 上 使 用 muduo， 可 以 参考 backport.diff 
来 修改 代码 。 不 过 这 些 系 统 上 没有 充分 测试 ， 仅 仅 是 编译 和 冒 烟 测试 
通过 。 另 外 muduo 也 可 以 运行 在 藤 入 式 系 统 中 ， 我 在 Samsung S3C2440 


开发 板 (ARM9) 和 Raspberry Pi (ARM11) 上 成 功 运行 了 muduo 的 多 
个 示例 。 代 码 只 需 略 作 改 动 ， 请 参考 armlinux.diff 。 
muduo 采 用 CMake: 为 build system， 安 装 方法 如 下 : 
$ sudo apt-get install cmake 


muduo 依 赖 于 Boost:， 也 很 容易 安装 
$ sudo apt-get install libboost-dev libboost-test-dev 


muduo 有 三 个 非 必 需 的 依赖 库 : curl、c-ares DNS、Google 
Protobuf， 如 果 安 装 了 这 三 个 库 ，cmake 会 自动 多 编译 一 些 示例 。 安 装 
方法 如 下 : 


$ sudo apt-get install libcurl4-openssl-dev libc-ares-dev 
$ sudo apt-get install protobuf-compiler libprotobuf-deyv 


muduo 的 编译 方法 很 简单 : 


$ tar zxf muduo-0.8.2-beta.tar.gz 
$ cd muduo/ 


$ ./build.sh -j2 
编译 muduo 库 和 它 自 带 的 例子 ， 生 成 的 可 执行 文件 和 静态 库 文件 
分 别 位 于 ../build/debug/{bin,1ib} 


$ ./build.sh instal1 | 
以 上 命令 将 muduo 头 文件 和 库 文件 安装 到 ../build/debug-install/finclude ,1ib}， 
以 便 muduo-protorpc 和 muduo-udns 等 库 使 用 


如 果 要 编译 release 版 〈 以 -02 优 化 ) ， 可 执行 


$ BUILD_TYPE=release ./build.sh -j2 | . 
编译 muduo 库 和 它 自 带 的 例子 ， 生 成 的 可 执行 文件 和 静态 库 文件 
分 别 位 于 ../build/release/{bin,1ib} 


$ BUILD_TYPE=release ./build.sh install 
以 上 命令 将 muduo 头 文件 和 库 文件 安装 到 ../build/release-install/{include,1ib}), 
以 便 muduo-protorpc 和 muduo-udns 等 库 使 用 


在 muduo 1.0 正 式 发 布 之 后 ，BUILD_TYPE 的 默认 值 会 改 成 
releaseo 
编译 完成 之 后 请 试 运行 其 中 的 例子 ， 比 如 bin/inspector test ， 然 后 
通过 浏览 器 访问 http://10.0.0.10:12345/ 或 


http://10.0.0.10:12345/proc/status ， 其 中 10.0.0.10 替 换 为 你 的 Linux box 的 
IPo 


在 自己 的 程序 中 使 用 muduo 


muduo 是 静态 链接 :的 C++ 程序 库 ， 使 用 muduo 库 的 时 候 ， 只 需要 设 
置 好 头 文 件 路 径 (例如 ../build/debug-instalWinclude ) 和 库 文件 路 径 ( 例 
如 ../build/debug-instalWlib ) 并 链接 相应 的 静态 库 文 件 〈-Imuduo_net - 
lmuduo_base) 即 可 。 下 面 这 个 示范 项 目 展示 了 如 何 使 用 CMake 和 普通 
makefile 编 译 基 于 muduo 的 程序 : 
https://github.com/chenshuo/ muduo-tutorial 。 


6.3 ”目录 结构 


muduo 的 目录 结构 如 下 。 


muduo 

|-- build. sh 

|-- ChangeLog 

|-- CMakeLists.txt 

|-- License 

|-- README 

|-- muduo muduo 库 的 主体 

| |-- base 与 网 络 无 关 的 基础 代码 ， 位 于 ::muduo namespace， 包 括 线 程 库 
| \-- net 网 络 库 ， 位 于 ::muduo::net namespace 

| |-- poller pol1(2) 和 epol1(4) 两 种 I0 multiplexing 后 端 

| |-- http 一 个 简单 的 可 嵌入 的 Web 服务 器 

| |-- inspect 基于 以 上 Web 服务 器 的 “ 几 探 器 ”， 用 于 报告 进程 的 状态 
| \-- protorpc ”简单 实现 Google Protobuf RPC， 不 推荐 使 用 

|-- examples 丰富 的 示例 

\-- TODO 


muduo 的 产 代 码 文件 名 与 class 名 相同 ， 例 如 ThreadPool class 的 定义 
是 muduo/base/ThreadPool.h ， 其 实现 位 于 muduo/base/ThreadPool.cc。 


基础 库 
muduo/base 目 录 是 一 些 基础 库 ， 都 是 用 户 可 见 的 类 ， 内 容 包 括 : 


muduo 


\-- base 
|-- AsyncLogging.{h,cc} 异步 日 志 backend 
|-- Atomic.h 原子 操作 与 原子 整数 
|-- BlockingQueue.h 无 界 阻 塞 队 列 〈 生 产 者 消费 者 队列 ) 
|-- BoundedBlockingQueue.h 有 界 阻塞 队列 
|-- Condition.h 条 件 变量 ， 与 Mutex.h 一 同 使 用 
|-- copyable.h 一 个 空 基 类 ， 用 于 标识 (tag) 值 类 型 
|-- CountDownLatch.{h, cc} “倒计时 门 门 ”同步 
|-- Date.fh,cc} Julian 日 期 库 ( 即 公历 ) 


Exception.{h,cc} 
Logging.{h,cc} 
Mutex.h 
ProcessInfo.{h,cc} 
Singleton.h 
StringPiece.h 
tests 


带 stack trace 的 异常 基 类 

简单 的 日 志 ， 可 搭配 AsyncLogging 使 用 
互 斤 器 

进程 信息 

线程 安全 的 singleton 

从 Google 开源 代码 借用 的 字符 串 参 数 传递 类 型 
测试 代码 


|-- Thread.{h,cc} 线程 对 象 
|-- ThreadLocal.h 线程 局 部 数据 
|-- ThreadLocalSingleton.h 每 个 线程 一 个 singleton 


|-- ThreadPool.{fh,cc} 简单 的 固定 大 小 线程 池 

|-- Timestamp.{h,cc} UTC 时 间 截 

|-- TimeZone.{h,cc} 时 区 与 夏令 时 

\-- Types.h 基本 类 型 的 声明 ， 包 括 muduo: :string 
网 络 核心 库 


muduo 是 基于 Reactor 模 式 的 网 络 库 ， 其 核心 是 个 事件 循环 


EventLoop， 


用 于 响应 计时 器 和 IO 事件 。muduo 采 用 基于 对 象 (object- 


based) 而 非 面 向 对 象 (objectoriented) 的 设计 风格 ， 其 事件 回调 接口 
多 以 boost::function 十 boost::bind 表 达 ， 用 户 在 使 用 muduo 的 时 候 不 需 
继承 其 中 的 class。 


络 库 核 心 位 于 muduo/net 和 muduo/net/poller ， 


一 共 不 到 4300 行 代 


码 ， 以 下 灰 底 表示 用 户 不 可 见 的 内 部 类 。 


\-- net 
|-- Acceptor.{h,cc} 接受 器 ， 用 于 服务 端 接受 连接 
|-- Buffer.{h,cc} 缓冲 区 ， 非 阻塞 I0 必 备 
|-- Callbacks.h 
|-- Channel.{h,cc} 用 于 每 个 Socket 和 连接 的 事件 分 发 
|-- CMakeLists.txt 
|-- Connector.{h,cc} 连接 器 ， 用 于 客户 端 发 起 连接 
|-- Endian.h 网 络 字 节 序 与 本 机 字 节 序 的 转换 
|-- EventLoop.{fh,cc} 事件 分 发 器 
|-- EventLoopThread.fh,cc} 新 建 一 个 专门 用 于 EventLoop 的 线程 


|-- EventLoopThreadPool.{fh,cc} muduo 默认 多 线程 IO 模型 


|-- InetAddress.fh,cc+ IP 地 址 的 简单 封装 ， 
|-- Poller.{h,cc} IO multiplexing 的 基 类 接口 
|-- Pler IO multiplexing 的 实现 
| |-- DefaultPoller.cc 根据 环境 变量 MUDUO_USE_POLL 选择 后 端 
| |-- EPollPoller.{h,cc} 基于 epol1(4) 的 I0O multiplexing 后 端 
| \-- PollPoller.{h,cc} 基于 pol1(2) 的 IO multiplexing 后 端 
|-- Socket.{h,cc} 封装 Sockets 描述 符 ， 负 责 关 闭 连接 
|-- SocketsOps.{h,cc} 封装 底层 的 Sockets API 
|-- TcpClient.{fh,cc} TCP 客户 端 
|-- TcpConnection.{fh,cc} muduo 里 最 大 的 一 个 类 ， 有 366 多 行 
|-- TcpServer,{fh,cc} TCP 服务 端 
|-- tests 简单 测试 
|-- Timer.{h,cey} 以 下 几 个 文件 与 定时 器 回调 相关 
|-- TimerId.h 
\-- TimerQueue. {h,cc} 

网 络 附属 库 


网 络 库 有 一 些 附属 模块 ， 它 们 不 是 核心 内 容 ， 在 使 用 的 时 候 需 
链接 相应 的 库 ， 例 如 -lmuduo_http、-lmuduo_inspect 等 等 。HttpServer 和 
Inspector 暴 露出 一 个 http 界 面 ， 用 于 监控 进程 的 状态 ， 类 似 于 Java JMX 

(89.5) 。 
附属 模块 位 于 muduo/net/{http,inspect,protorpc} 等 处 。 


6.3.1 


http 不 打算 做 成 通用 的 HTTP 服务 器 ， 这 只 是 简陋 而 不 完整 的 HTTP 协议 实现 
|-- CMakeLists.txt 

|-- HttpContext.h 

|-- HttpRequest.h 

|-- HttpResponse. {h,cc} 

|-- HttpServer.{h,cc} 

\-- tests/HttpServer_test.cc 示范 如 何在 程序 中 说 入 HTTP 服务 器 

inspect 基于 HTTP 协议 的 窥探 器 ， 用 于 报告 进程 的 状态 
|-- CMakeLists.txt 

|-- Inspector.{h,cc} 

|-- ProcessInspector .{fh,cc} 

\-- tests/Inspector_test.cc 示范 
protorpc 简单 
|-- CMakeLists. txt 

|-- google-inl.h 

|-- RpcChannel.{h,cc} 

|-- RpcCodec.{h,cc} 

I== rpesproeto 

\-- RpcServer.{h,cc} 


代码 结构 


暴露 程序 状态 ， 包 括 内 存 使 用 和 文件 描述 符 
实现 Google Protobuf RPC 


muduo 的 头 文件 明确 分 为 客户 可 见 和 客户 不 可 见 两 类 。 以 下 是 安装 
之 后 暴露 的 头 文件 和 库 文件 。 对 于 使 用 muduo 库 而 言 ， 只 需要 掌握 5 个 


关键 类 


: Buffer、 EventLoop、 TcpConnection、TcpClient、TcpServero 


|-- include 头 文件 


\-- muduo 
|-- base 基础 库 ， 同 前 ， 略 
\-- net 网 络 核 心 库 
|-- Buffer.h 
|-- Callbacks.h 
|-- Channel.h 
|-- Endian.h 


| 
| 
| 
| 
| 
| 
| 
| |-- EventLoop.h 

| |-- EventLoopThread.h 

| |-- InetAddress.h 

| [== TecpClient:h 

| |-- TcpConnection.h 

| |-- TcpServer.h 

| |-- TimerId.h 

| [= http 以 下 为 网 络 附属 库 的 头 文件 
| | |-- HttpRequest.h 

| | |-- HttpResponse.h 

| | \-- HttpServer.h 

| |-- inspect 

| | |-- Inspector.h 

| | \-- ProcessInspector.h 


| \-- protorpc 

| |-- RpcChannel.h 

| |-- RpcCodec.h 

| \-- RpcServer.h 

\-- lib 静态 库 文件 


|-- libmuduo_base.a, libmuduo_net.a 
|-- libmuduo_http.a, libmuduo_inspect.a 
\-- libmuduo_protorpc.a 


图 6-1 是 muduo 的 网 络 核心 库 的 头 文件 包含 关系 ， 用 户 可 见 的 为 白 
底 ， 用 户 不 可 见 的 为 灰 底 。 


Go? 
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EventLoopThreadPool.h 


图 6-1 


muduo 头 文件 中 使 用 了 前 向 声明 (forward declaration) ， 大 大 简化 
了 头 文件 之 间 的 依赖 关系 。 例 如 
Acceptorh 、 ChanneLh 、Connectorh 、TcpConnection.h 都 前 向 声明 了 
EventLoop class， 从 而 避免 包含 EventLoop.h。 另 外 ，TcpClient.h 前 向 声明 
了 Connector class， 从 而 避免 将 内 部 类 暴露 给 用 户 ， 类 似 的 做 法 还 有 
TcpServerh 用 到 的 Acceptor 和 EventLoopThreadPool、EventLoop.h 用 到 的 
Poller 和 TimerQueue、TcpConnection.h 用 到 的 Channel 和 Socket 等 等 。 

这 里 简单 介绍 各 个 class 的 作用 ， 详 细 的 介绍 参见 后 文 。 


公开 接口 


.Buffer 仿 Netty ChannelBuffer 的 buffer class， 数 据 的 读 写 通过 buffer 
进行 。 用 户 代码 不 需要 调用 read(2)/write(2)， 只 需要 处 理 收 到 的 数据 和 
准备 好 要 发 送 的 数据 (87.4) 。 

.InetAddress 封 装 IPv4 地 址 (end point) ， 注 意 ， 它 不 能 解析 域名 ， 
只 认 IP 地 址 。 因 为 直接 用 gethostbyname(3) 解 析 域 名 会 阻塞 1O 线 程 。 


EventLoop 事 件 循环 (反应 器 Reactor) ， 每 个 线程 只 能 有 一 个 
EventLoop 实 体 ， 它 负责 IO 和 定时 器 事件 的 分 派 。 它 用 eventfd(2) 来 异步 
唤醒 ， 这 有 别 于 传统 的 用 一 对 pipe(2) 的 办 法 。 它 用 TimerQueue 作 为 计 
时 器 管理 ， 用 Poller 作 为 IO multiplexing。 

:EventLoopThread 启 动 一 个 线程 ， 在 其 中 运行 EventLoop::loop()。 

"TcpConnection 整 个 网 络 库 的 核心 ， 封 装 一 次 TCP 连 接 ， 注 意 它 不 
能 发 起 连接 。 

:TcpClient 用 于 编写 网 络 客户 端 ， 能 发 起 连接 ， 并 且 有 重 试 功能 。 

.TcpServer 用 于 编写 网 络 服务 器 ， 接 受 客户 的 连接 。 


在 这 些 类 中 ，TcpConnection 的 生命 期 依靠 shared_ptr 管 理 ( 即 用 户 
和 库 共 同 控制 ) 。Buffer 的 生命 期 由 TcpConnection 控 制 。 其 余 类 的 生命 
期 由 用 户 控制 。Buffer 和 InetAddress 具 有 值 语义 ， 可 以 拷贝 ; 其 他 class 
都 是 对 象 语义 ， 不 可 以 拷贝 。 


内 部 实现 


-Channel 是 selectable IO channel， 负 责 注 册 与 响应 IO 事件 ， 注 意 它 
不 拥有 file descriptor。 它 是 Acceptor、Connector、EventLoop、 
TimerQueue、TcpConnection 的 成 员 ， 生 命 期 由 后 者 控制 |。 

.Socket 是 一 个 RAIIhandle， 封 装 一 个 filedescriptor， 并 在 析 构 时 关 
闭 fd。 它 是 Acceptor、TcpConnection 的 成 员 ， 人 生命 期 由 后 者 控制 。 
EventLoop、TimerQueue 也 拥有 fd， 但 是 不 封装 为 Socket class。 

.SocketsOps 封 装 各 种 Sockets 系 统 调用 。 

:Poller 是 PollPoller 和 EPollPoller 的 基 类 ， 采 用 “ 电 平 触发 "的 语意 。 
它 是 EventLoop 的 成 员 ， 生 命 期 由 后 者 控制 。 

.PollPoller 和 EPollPoller 封 装 poll(2) 和 epoll(4) 两 种 IO multiplexing 后 
端 。poll 的 存在 价值 是 便于 调试 ， 因 为 poll(2) 调 用 是 上 下 文 无 关 的 ， 用 
strace(1) 很 容易 知道 库 的 行为 是 否 正确 。 


-Connector 用 于 发 起 TCP 连 接 ， 它 是 TcpClient 的 成 员 ， 和 生命 期 由 后 
者 控制 |。 

“Acceptor 用 于 接受 TCP 连 接 ， 它 是 TcpServer 的 成 员 ， 生 命 期 由 后 者 
控制 。 

TimerQueue 用 timerfd 实 现 定 时 ， 这 有 别 于 传统 的 设置 
poll/epoll_wait 的 等 待 时 长 的 办 法 。TimerQueue 用 std::map 来 管理 
Timer， 常 用 操作 的 复杂 度 是 O(logN)，N 为 定时 器 数目 。 它 是 
EventLoop 的 成 员 ， 生 命 期 由 后 者 控制 。 

.EventLoopThreadPool 用 于 创建 IO 线程 池 ， 用 于 把 TcpConnection 分 
派 到 某 个 EventLoop 线 程 上 。 它 是 TcpServer 的 成 员 ， 生 命 期 由 后 者 控 
制 。 


6-2 是 muduo 的 简化 类 图 ，Buffer 是 TcpConnection 的 成 员 。 
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-fd_: File Desc. 
+loop() 
+runAfter() File Descriptor — 1 +handleEvent() 
+runEvery() T | | 
+runAt() Owns 
+runlnLoop() 9 多 多 
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| | | 
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-handleError() 
+poll() | 多 
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PollPoller EPollPoller | 


+poll() | +poll() 


图 6-2 


6.3.2 ”例子 


muduo 附 带 了 十 几 个 示例 程序 ， 编 译 出 来 有 近 百 个 可 执行 文件 。 这 
些 例 子 位 于 examples 目录 ， 其 中 包括 从 Boost.Asio、Java Netty、Python 
Twisted 等 处 移植 过 来 的 例子 。 这 些 例 子 基本 覆盖 了 常见 的 服务 端 网 络 
编程 功能 点 ， 从 这 些 例子 可 以 充分 学 习 非 阻塞 网 络 编程 。 


examples 

|-- asio 从 Boost.Asio 移植 的 例子 

| |-- chat 多 人 聊天 的 服务 端 和 客户 端 ， 示 范 打包 和 和 拆 包 (codec) 
| \-- tutorial 一 系列 timers 

|-- cdns 基于 c-ares 的 异步 DNS 解析 

|-- curl 基于 curl 的 异步 HTTP 客户 端 

|-- filetransfer 简单 的 文件 传输 ， 示 范 完整 发 送 TCP 数据 

|-- hub 一 个 简单 的 pub/sub/hub 服务 ， 演 示 应 用 级 的 广播 


|-- idleconnection 踊 掉 空闲 连接 
|-- maxconnection 控制 最 大 连接 数 
|-- multiplexer 1:n 串 并 转换 服务 


|-- netty 从 JBoss Netty 移植 的 例子 

| |-- discard 可 用 于 测试 带宽 ， 服 务 器 可 多 线程 运行 
| [= iekg 可 用 于 测试 带宽 ， 服 务 器 可 多 线程 运行 
| \-- uptime 带 自动 重 连 的 TCP 长 连接 客户 端 

|-- pingpong pingpong 协议 ， 用 于 测试 消息 吞吐 量 

|-- protobuf Google Protobuf 的 网 络 传输 示例 

| |-- codec 自动 反射 消息 类 型 的 传输 方案 

| |-- rpc RPC 示例 ， 实 现 Sudoku 服务 

| \-- rpcbench RPC 性 能 测试 示例 

|-- roundtrip 测试 两 台 机 器 的 网 络 延 时 与 时 间 差 

|-- shorturl 简单 的 短 址 服务 

|-- simple 5 个 简单 网 络 协 议 的 实现 

| |-- allinone 在 一 个 程序 里 同时 实现 下 面 5 个 协议 
| |-- chargen RFC 864， 可 测试 带宽 

| |-- chargenclient chargen 的 客户 端 

| |-- daytime RFC 867 

| [|== discard RFC 863 

| |-- echo RFC 862 

| |-- time RFC 868 

| \-- timeclient time 协议 的 客户 端 

|-- socks4a Socks4a 代理 服务 器 ， 示范 动态 创建 TcpClient 
|-- sudoku 数 独 求解 器 ， 示 范 muduo 的 多 线程 时 模型 
|-- twisted 从 Python Twisted 移植 的 例子 

| \-- finger finger@1 ~ 07 


\-- zeromq 从 zeroMQ 移植 的 性 能 《消息 延迟 ) 测试 


另外 还 有 几 个 基于 muduo 的 示例 项 目 ， 由 于 License 等 原因 没有 放 
到 muduo 发 行 版 中 ， 可 以 单独 下 载 。 


http://github.com/chenshuo/muduo-udns : 基于 UDNS 的 异步 DNS 解 
析 。 

http:Wgithub.com/chenshuo/muduo-protorpc : 新 的 RPC 实 现 ， 自 动 管 
理 对 象 生 命 期 。: 


6.3.3 ”线程 模型 


muduo 的 线程 模型 符合 我 主张 的 one loop per thread 十 thread pool 模 
型 。 每 个 线程 最 多 有 一 个 EventLoop， 每 个 TcpConnection 必 须 归 某 个 
EventLoop 管 理 ， 所 有 的 IO 会 转移 到 这 个 线程 。 换 句 话 说 ， 一 个 file 
descriptor 只 能 由 一 个 线程 读 写 。TcpConnection 所 在 的 线程 由 其 所 属 的 
EventLoop 决 定 ， 这 样 我 们 可 以 很 方便 地 把 不 同 的 TCP 连 接 放 到 不 同 的 
线程 去 ， 也 可 以 把 一 些 TCP 连 接 放 到 一 个 线程 里 。TcpConnection 和 
EventLoop 是 线程 安全 的 ， 可 以 跨 线程 调用 。 

TcpServer 直 接 支 持 多 线程 ， 它 有 两 种 模式 : 


单线 程 ，accept(2) 与 TcpConnection 用 同一 个 线程 做 IO。 

.多 线程 ，accept(2) 与 EventLoop 在 同一 个 线程 ， 另 外 创建 一 个 
EventLoopThreadPool， 新 到 的 连接 会 按 round-robin 方 式 分 配 到 线程 池 
中 。 


后 文 $6.6 还 会 以 Sudoku 服 务 器 为 例 再 次 介绍 muduo 的 多 线程 模型 。 
结语 


muduo 是 我 对 常见 网 络 编程 任务 的 总 结 ， 用 它 我 能 很 容易 地 编写 多 
线程 的 TCP 服 务 器 和 客户 端 。muduo 是 我 业余 时 间 的 作品 ， 代 码 估计 还 


有 一 些 bug， 功 能 也 不 完善 (例如 不 支持 signal 处 理 *) ， 待 日 后 慢 慢 改 
进 吧 。 


6.4 ”使 用 教程 


本 节 主 要 介绍 muduo 网 络 库 的 使 用 ， 其 设计 与 实现 将 在 第 8 章 讲 
解 。 

muduo 只 支持 Linux 2.6.x 下 的 并 发 非 阻塞 TCP 网 络 编程 ， 它 的 核心 
是 每 个 IO 线程 一 个 事件 循环 ， 把 IO 事件 分 发 到 回调 函数 上 。 

我 编写 muduo 网 络 库 的 目的 之 一 就 是 简化 日 常 的 TCP 网 络 编程 ， 让 
程序 员 能 把 精力 集中 在 业务 逻辑 的 实现 上 ， 而 不 要 天 天 和 Sockets API 
较劲 。 借 用 Brooks 的 话说 上 ， 我 希望 muduo 能 减少 网 络 编程 中 的 偶发 复 


杂 性 (accidental complexity) 。 


6.4.1 TCP 网 络 编程 本 质 论 


基于 事件 的 非 阻 塞 网 络 编程 是 编写 高 性 能 并 发 网 络 服务 程序 的 主 
流 模 式 ， 头 一 次 使 用 这 种 方式 编程 通常 需要 转换 思维 模式 。 把 原来 * 主 
动 调用 recv(2) 来 接收 数据 ， 主 动 调 用 accept(2) 来 接受 新 连接 ， 主 动 调用 
send(2) 来 发 送 数据 ”的 思路 换 成 “注册 一 个 收 数据 的 回调 ， 网 络 库 收 到 
数据 会 调用 我 ， 直 接 把 数据 提供 给 我 ， 供 我 消费 。 注 册 一 个 接受 连接 
的 回调 ， 网 络 库 接受 了 新 连接 会 回调 我 ， 直 接 把 新 的 连接 对 象 传 给 
我 ， 供 我 使 用 。 需 要 发 送 数 据 的 时 候 ， 只 管 往 连接 中 写 ， 网 络 库 会 负 
责 无 阻塞 地 发 送 。” 这 种 编程 方式 有 点 像 Win32 的 消息 循环 ， 消 息 循环 
中 的 代码 应 该 避免 阻塞 ， 否 则 会 让 整个 窗口 失去 响应 ， 同 理 ， 事 件 处 
理 函 数 也 应 该 避免 阻塞 ， 否 则 会 让 网 络 服务 失去 响应 。 

我 认为 ，TCP 网 络 编程 最 本 质 的 是 处 理 三 个 半 事 件 : 


1. 连接 的 建立 ， 包 括 服务 端 接受 (accept) 新 连接 和 客户 端 成 功 
发 起 (connect) 连接 。TCP 连 接 一 旦 建立 ， 客 户 端 和 服务 端 是 平等 


的 ， 可 以 各 自 收 发 数据 。 
2. 连接 的 断 开 ， 包 括 主动 断 开 (close、shutdown) 和 被 动 断 开 
(read(2) 返 回 0) 。 

3. 消息 到 达 ， 文 件 描 述 符 可 读 。 这 是 最 为 重要 的 一 个 事件 ， 对 它 
的 处 理 方式 决定 了 网 络 编 程 的 风格 (阻塞 还 是 非 阻 塞 ， 如 何 处 理 分 
包 ， 应 用 层 的 缓冲 如 何 设计 ， 等 等 ) 。 

3.5 ”消息 发 送 完毕 ， 这 算 半 个 。 对 于 低 流 量 的 服务 ， 可 以 不 必 关 
心 这 个 事件 ; 另外 ， 这 里 的 “发 送 完毕 ”是 指 将 数据 写 入 操作 系统 的 缓 
冲 区 ， 将 由 TCP 协 议 栈 负责 数据 的 发 送 与 重 传 ， 不 代表 对 方 已 经 收 到 数 
据 。 


这 其 中 有 很 多 难点 ， 也 有 很 多 细节 需要 注意 ， 比 方 说 : 

如 果 要 主动 关闭 连接 ， 如 何 保证 对 方 已 经 收 到 全 部 数据 ? 如 果 应 
用 层 有 缓冲 (这 在 非 阻 塞 网 络 编 程 中 是 必需 的 ， 见 下 文 ) ， 那 么 如 何 
保证 先 发 送 完 缓冲 区 中 的 数据 ， 然 后 再 断 开 连接 ?” 直接 调用 close(2) 恐 
怕 是 不 行 的 。 

如 果 主 动 发 起 连接 ， 但 是 对 方 主 动 拒绝 ， 如 何 定期 ( 带 back-off 
地 ) 重 试 ? 

非 阻塞 网 络 编程 该 用 边沿 触发 (edge trigger) 还 是 电 平 触发 〈level 
trigger) ? 2 如 果 是 电 平 触发 ， 那 么 什么 时 候 关 注 EPOLLOUT 事 件 ? 会 

会 造成 busy-loop? 如 果 是 边沿 触发 ， 如 何 防止 漏 读 造成 的 饥 包 R? 
epoll(4) 一 定 比 poll(2) 快 吗 ? 

在 非 阻塞 网 络 编程 中 ， 为 什么 要 使 用 应 用 层 发 送 缓冲 区 ? 假设 应 
用 程序 需要 发 送 40kB 数 据 ， 但 是 操作 系统 的 TCP 发 送 缓冲 区 只 有 25kB 
剩余 空间 ， 那 么 剩 下 的 15kB 数 据 怎么 办 ?如 果 等 待 O0S 缓 冲 区 可 用 ， 会 
阻塞 当前 线程 ， 因 为 不 知道 对 方 什 么 时 候 收 到 并 读 取 数据 。 因 此 网 络 
库 应 该 把 这 15kB 数 据 缓存 起 来 ， 放 到 这 个 TCP 链 接 的 应 用 层 发 送 缓冲 
区 中 ， 等 socket 变 得 可 写 的 时 候 立 刻 发 送 数 据 ， 这 样 “ 发 送 ” 操 作 不 会 阻 
塞 。 如 果 应 用 程序 随后 又 要 发 送 50kB 数 据 ， 而 此 时 发 送 缓冲 区 中 尚 有 
未 发 送 的 数据 (若干 kB) ， 那 么 网 络 库 应 该 将 这 50kB 数 据 追 加 到 发 送 


缓冲 区 的 末尾 ， 而 不 能 立刻 党 试 write(0)， 因 为 这 样 有 可 能 打 乱 数据 的 顺 
序 。 

在 非 阻塞 网 络 编程 中 ， 为 什么 要 使 用 应 用 层 接收 缓冲 区 ? 假如 一 
次 读 到 的 数据 不 够 一 个 完整 的 数据 包 ， 那 么 这 些 已 经 读 到 的 数据 是 不 
是 应 该 先 暂 存在 某 个 地 方 ， 等 剩余 的 数据 收 到 之 后 再 一 并 人 处理 ? 见 
lighttpd 关 于 \r nn 分 包 的 bug*。 假 如 数据 是 一 个 字 节 一 个 字 节 地 到 
达 ， 间 隔 10ms， 每 个 字 节 触发 一 次 文件 描述 符 可 读 (readable) 事件 ， 
程序 是 否 还 能 正常 工作 ? lighttpd 在 这 个 问题 上 出 过 安全 漏洞 4。 

在 非 阻塞 网 络 编程 中 ， 如 何 设计 并 使 用 缓冲 区 ”一 方面 我 们 希望 
减少 系统 调用 ， 一 次 读 的 数据 越 多 越 划算 ， 那 么 似乎 应 该 准备 一 个 大 
的 缓冲 区 。 另 一 方面 ， 我 们 希望 减少 内 存 占 用 。 如 果 有 10000 个 并 发 连 
接 ， 每 个 连接 一 建立 就 分 配 各 50kB 的 读 写 缓冲 区 (s) 的 话 ， 将 占用 1GB 
内 存 ， 而 大 多 数 时 候 这 些 缓冲 区 的 使 用 率 很 低 。muduo 用 readv(2) 结 合 
栈 上 空间 巧妙 地 解决 了 这 个 问题 。 

如 果 使 用 发 送 缓冲 区 ， 万 一 接收 方 处 理 缓慢 ， 数 据 会 不 会 一 直 堆 
只 在 发 送 方 ， 造 成 内 存 暴涨 ? 如 何 做 应 用 层 的 流量 控制 |? 

如 何 设计 并 实现 定时 器 ? 并 使 之 与 网 络 IO 共 用 一 个 线程 ， 以 避免 
锁 。 

这 些 问 题 在 muduo 的 代码 中 可 以 找到 答案 。 

6.4.2 echo 服 务 的 实现 

muduo 的 使 用 非常 简单 ， 不 需要 从 指定 的 类 派生 ， 也 不 用 覆 写 虚 消 
数 ， 只 需要 注册 几 个 回调 函数 去 处 理 前 面 提 到 的 三 个 半 事 件 就 行 了 。 

下 面 以 经 典 的 echo 回 显 服务 为 例 : 


1. 定义 EchoServer class， 不 需要 派生 自任 何 基 类 。 


examples/simple/echo/echo.h 
#include <muduo/net/TcpServer.h> 


// RFC 862 
class EchoServer 
{ 
public: 
EchoServer (muduo: :net::EventLoop* loop, 
const muduo: :net::InetAddress& listenAddr); 


void start(); // calls server_.start(); 


private: 
void onConnection(const muduo::net::TcpConnectionPtr& conn); 


void onMessage(const muduo::net::TcpConnectionPtr& conn, 
muduo: :net: :Buffer*x buf, 
muduo: :Timestamp time); 


muduo: :net::EventLoop* loop.; 
muduo: :net::TcpServer server_; 
}; 
examples/simple/echo/echo.h 


在 构造 永 数 里 注册 回调 函数 。 


examples/simple/echo/echo.cc 
EchoServer: :EchoServer(muduo: :net::EventLoop* loop, 
const muduo: :net::InetAddress& listenAddr) 
: loop_(loop), 
server_(loop, listenAddr, "EchoServer") 
{ 
server_.setConnectionCallback( 
boost::bind(&EchoServer: :onConnection, this, _1)); 
server_.setMessageCallback( 
boost: :bind(&EchoServer::onMessage, this, _1, _2, _3)); 


examples/simple/echo/echo.cc 


2. 实现 EchoServer::onConnection() 和 EchoServer::onMessage()。 


examples/simple/echo/echo.cc 
26 void EchoServer::onConnection(const muduo: :net::TcpConnectionPtr& conn) 


28 LOG_INFO << "EchoServer - ”<< conn->peerAddress() .toIpPort() << " -> " 
29 << conn->localAddress() .toIpPort() << ”is " 

30 << (conn->connected() ? "UP”: "DOWN"); 

31 让 


33 void EchoServer::onMessage(const muduo::net::TcpConnectionPtr& conn, 


34 muduo: :net: :Buffer* buf, 
35 muduo: :Timestamp time) 
36 { 


37 muduo: :string msg(buf->retrieveAllAsString()); 
38 LOG_INFO << conn->name() << ”echo ”<< msg.size() << " bytes, " 


a << "data received at " << time.toString(); 
40 conn->send(msg); 
1 


examples/simple/echo/echo.cc 


L37 和 L40 是 echo 服 务 的 “业务 逻辑 ”: 把 收 到 的 数据 原封 不 动 地 发 
回 客 户 端 。 注 意 我 们 不 用 担心 L40 的 send(msg) 是 否 完整 地 发 送 了 数据 ， 
因为 muduo 网 络 库 会 帮 有 我 们 管理 发 送 缓冲 区 。 

这 两 个 函数 体现 了 “基于 事件 编程 ”的 典型 做 法 ， 即 程序 主体 是 被 
动 等 待 事件 发 生 ， 事 件 发 生 之 后 网 络 库 会 调用 (回调 ) 事先 注册 的 事 
件 处 理 卫 数 (event handler) 。 

在 onConnection0) 函 数 中 ，conn 参 数 是 TcpConnection 对 象 的 
shared_ptr，TcpConnection::connected() 返 回 一 个 bool 值 ， 表 明 目 前 连接 
是 建立 还 是 断 开 ，TcpConnection 的 peerAddressO0 和 1localAddress0 成 员 函 
数 分 别 返回 对 方 和 本 地 的 地 址 〈 以 InetAddress 对 象 表 示 的 IP 和 port) 。 

在 onMessage0 国 数 中 ，conn 人 参数 是 收 到 数据 的 那个 TCP 连 接 ; buf 
是 已 经 收 到 的 数据 ，buf 的 数据 会 累积 ， 直 到 用 户 从 中 取 走 (retrieve) 
数据 。 注 意 buf 是 指针 ， 表 明 用 户 代码 可 以 修改 (消费) buffer; time 是 
收 到 数据 的 确切 时 间 ， 即 epoll_wait(2) 返 回 的 时 间 ， 注 意 这 个 时 间 通 常 
Eread(2) 发 生 的 时 间 略 早 ， 可 以 用 于 正确 测量 程序 的 消息 处 理 延 迟 。 
另外 ，Timestamp 对 象 采用 pass-by-value， 而 不 是 pass-by- 
(const)reference， 这 是 有 意 的 ， 因 为 在 x86-64 上 可 以 直接 通过 寄存 器 传 
会 


过 0 


3. 在 main0 里 用 EventLoop 让 整个 程序 跑 起 来 。 


examples/simple/echo/main.cc 
#include “echo.h” 


#include <muduo/base/Logging.h> 
#include <muduo/net/EventLoop.h> 


// using namespace muduo; 
// using namespace muduo: :net; 


oo ~ 让 on 请 wh 呈 


9 int main() 

| 

11 LOG_INFO << "pid = ”<< getpid(); 

12 muduo: :net: :EventLoop loop; 

13 muduo: :net: :InetAddress ListenAddr(2007) ; 
14 EchoServer server(&loop, listenAddr); 

15 server.start(); 

16 loop.1oop() ; 


examples/simple/echo/main.cc 


完整 的 代码 见 muduo/examples/simple/echo 。 这 个 几 十 行 的 小 程序 实 
现 了 一 个 单线 程 并 发 的 echo 服 务 程序 ， 可 以 同时 处 理 多 个 连接 。 

这 个 程序 用 到 了 TcpServer、EventLoop、TcpConnection、Buffer 这 
几 个 class， 也 大 致 反 映 了 这 几 个 class 的 典型 用 法 ， 后 文 还 会 详细 介绍 
这 几 个 class。 注 意 ， 以 后 的 代码 大 多 会 省 略 namespaceo 


6.4.3 ”七 步 实 现 finger 服 务 


Python Twisted 是 一 款 非常 好 的 网 络 库 ， 它 也 采用 Reactor 作 为 网 络 
编程 的 基本 模型 ， 所 以 从 使 用 上 与 muduo 颇 有 相似 之 处 (当然 ，muduo 
没有 deferreds) 。 

finger 是 Twisted 文 档 的 一 个 经 典 例子 ， 本 文 展 示 如 何 用 muduo 来 实 
现 最 简单 的 finger 服 务 端 。 限 于 篇 幅 ， 只 实现 finger01~finger07。 代 码 
位 于 examples/twisted/fingero 


1. 拒绝 连接 。 ”什么 都 不 做 ， 程 序 空 等 。 


examples/twisted/finger/finger01.cc 
#include <muduo/net/EventLoop.h> 


Using namespace muduo; 
using namespace muduo: :net; 


int main() 

{ 
EventLoop loop; 
loop.1loop(); 


Domhhm hh ”~ 


10 } 


examples/twisted/finger/finger01.cc 


2. 接受 新 连接 。 ”在 1079 端 口 侦 听 新 连接 ， 接 受 连接 之 后 什么 都 
不 做 ,程序 空 等 。muduo 会 自动 丢弃 收 到 的 数据 。 


examples/twisted/finger/fingerO02.cc 
#include <muduo/net/EventLoop.h> 
#include <muduo/net/TcpServer.h> 


using namespace muduo; 
Using namespace muduo: :net; 


int main() 
t 
EventLoop loop; 
TcpServer server(&loop, InetAddress(1079), "Finger"); 
server.start(); 
1oop.1oop() ; 


i 二 
mw OVW 人 WN 


Eee 
WwW WN 
bd) 


examples/twisted/finger/finger02.cc 


3. 主动 断 开 连 接 。 ”接受 新 连接 之 后 主动 断 开 。 以 下 省 略 头 文件 


和 namespaceo 


examples/twisted/finger/finger03.CC 
7 void onConnection(const TcpConnectionPtr& conn) 


8 1 

9 if (conn->connected()) 
10 { 

11 conn->shutdown(); 

12 

13 } 


15 int main() 

16: 才 

17 EventLoop loop; 

18 TcpServer server(&loop, InetAddress(1079), "Finger"); 
19 server.setConnectionCallback(onConnection): 

20 server.start(); 

21 1oop.1oop() ; 


examples/twisted/finger/finger03.CC 


4。 读 取 用 户 名 ， 然 后 断 开 连接 。 ”如 果 读 到 一 行 以 wn 结尾 的 消 
息 ， 就 断 开 连接 。 注 意 这 段 代 码 有 安全 问题 ， 如 果 恶 意 客户 端 不 断 发 
送 数 据 而 不 换行 ， 会 撑 爆 服务 端的 内 存 。 另 外 ，Buffer::findCRLFO 是 
线性 查找 ， 如 果 客 户 端 每 次 发 一 个 字 节 ， 服 务 端 的 时 间 复 杂 度 为 O(N 
)， 会 消耗 CPU 资 源 。 


examples/twisted/finger/finger04.cc 
7 void onMessage(const TcpConnectionPtr& conn, 

8 Bufferx buf ， 

9 Timestamp receiveTime) 


{ 
11 if (buf->findCRLF()) 
12 { 
13 conn->shutdown(); 
14 } 
15 } 


17 int main() 

18 { 

19 EventLoop loop; 

20 TcpServer server(&loop, InetAddress(1079), "Finger"); 
21 server.setMessageCallback(onMessage); 

22 server.start(); 

23 1oop.1oop(); 


examples/twisted/finger/finger04.cc 


5。 读 取 用 户 名 、 输 出 错误 信息 ， 然 后 断 开 连接 。 ”如果 读 到 一 行 
以 \rn 结 尾 的 消息 ， 就 发 送 一 条 出 错 信息 ， 然 后 断 开 连接 。 安 全 间 题 同 


上 。 


--- examples/twisted/finger/finger@4.cc 2010-08-29 00:03:14 +0800 
+++ examples/twisted/finger/finger5.cc 2010-08-29 00:06:05 +0800 
@@ -7,12 +7,13 @@ 
void onMessage(const TcpConnectionPtr& conn, 
Bufferx buf, 
Timestamp receiveTime) 


if (buf->findCRLF()) 
{ 


中 conn->send("No such userNrNn”) ; 
conn->shutdown(); 


} 
} 


6。 从 空 的 UserMap 里 查找 用 户 。 ”从 一 行 消息 中 拿 到 用 户 名 
(L30) ， 在 UserMap 里 查找 ， 然 后 返回 结果 。 安 全 问题 同上 。 


examples/twisted/finger/finger06.cc 
9 typedef std::map<string, string> UserMap; 
10 UserMap users; 


12 Sstring getUser(const string& user) 

J 

14 string result = "No such user”; 

15 UserMap: :iterator it = users.find(user); 
16 if (it != users.end()) 

17 { 

18 result = it->second; 

19 } 

20 return result; 

2 


23 void onMessage(const TcpConnectionPtr& conn, 
24 Bufferx buf, 

25 Timestamp receiveTime) 

26 { 

27 const charx crlf = buf->findCRLF(); 

28 IY "CERLE) 


29 { 

30 string user(buf->peek(), crlf); 

31 conn->send(getUser (user) + "\r\n"); 
32 buf->retrieveUntil(crlf + 2); 

33 conn->shutdown(); 

34 } 

35 } 

36 

37 int main() 

入 护 


39 EventLoop loop; 

40 TcpServer server(&loop, InetAddress(1079), "Finger"); 
41 server.setMessageCallback(onMessage); 

42 server.start(); 

43 loop. lo00p(); 


examples/twisted/finger/finger06.cc 


7. 往 UserMap 里 添加 一 个 用 户 。 与 前 面 几乎 完全 一 样 ， 只 多 了 
L396 


--- examples/twisted/finger/finger06.cc 2010-08-29 00:14:33 +0800 

+++ examples/twisted/finger/vfinger07.cc 2010-08-29 00:15:22 +0800 

@@ -36,6 +36,7 @@ 

int main() 

& 

+ Users["schen"] = "Happy and well"; 
EventLoop loop; 
TcpServer server(&loop, InetAddress(1079), "Finger”) ; 
server.setMessageCallback(onMessage); 
server.start(); 
loop. lo0p(); 


以 上 就 是 全 部 内 容 ， 可 以 用 telnet(1) 扮 演 客 户 端 来 测试 我 们 的 简单 
finger 服 务 端 。 


Telnet 测 试 


在 一 个 命令 行 窗 口 运行 : 
$ ./bin/twisted_finger87 


一 个 命令 行 运行 : 
$ telnet localhost 1079 
Trying: £01. 


Trying 127. 0. 站 2， 

Connected to localhost. 

Escape character is '*]'. 

muduo 

No such user 

Connection closed by foreign host. 


再 试 一 次 : 


$ telnet localhost 1079 

LryrnNne ee] a 

Trying 127.0.0.1... 

Connected to localhost. 

Escape character is '^*]'. 

schen 

Happy and well 

Connection closed by foreign host. 


冒 烟 测试 过 关 。 
6.5 ”性 能 评测 


我 在 一 开始 编写 muduo 的 时 候 并 没有 以 高 性 能 为 首要 目标 。 在 2010 
年 8 月 发 布 之 后 ， 有 网 友 询 问 其 性 能 与 其 他 常见 网 络 库 相 比 如 何 ， 因 此 
我 才 加 入 了 一 些 性 能 对 比 的 示例 代码 。 我 很 惊奇 地 发 现 ， 在 muduo 擅 长 
的 领域 (TCP 长 连接 ) ， 其 性 能 不 比 任 何 开 源 网 络 库 差 。 

性 能 对 比 原则 : 采用 对 方 的 性 能 测试 方案 ， 用 muduo 实 现 功 能 相同 
或 类 似 的 程序 ， 然 后 放 到 相同 的 软 硬 件 环境 中 对 比 。 

注意 这 里 的 测试 只 是 简单 地 比较 了 平均 值 ; 其 实在 严肃 的 性 能 对 
比 中 至 少 还 应 该 考虑 分 布 和 百 分 位 数 (percentile) 的 值 ss。 限 于 篇 
幅 ， 此 处 从 略 。 


6.5.1 muduo 与 Boost.Asio、1libevent2 的 吞吐 量 对 比 


我 在 编写 muduo 的 时 候 并 没有 以 高 并 发 、 高 吞吐 为 主要 目标 。 但 出 
平 我 的 意料 ，ping pong 测 试 表 明 ，muduo 的 吞吐 量 比 Boost.Asio 高 15% 
以 上 ; 比 libevent2 高 18% 以 上 ， 个 别 情况 甚至 达到 70%. 


测试 对 象 


-boost 1.40 中 的 asio 1.4.3 
asio 1.4.5 (http://think-async.com/Asio/Download ) 
“libevent 2.0.6-rc (http://monkey.org/~provos/libevent-2.0.6-rc.tar.gz ) 


-muduo 0.1.1 
测试 代码 


-asio 的 测试 代码 取 自 
http://asio.cvs.sourceforge.net/Viewvc/asio/asio/src/tests/performance/ ， 未 做 
更 改 。 

:我 自己 编写 了 libevent2 的 ping pong 测 试 代码 ， 路 径 是 
recipes/pingpong/libevent/ 。 由 于 这 个 测试 代码 没有 使 用 多 线程 ， 所 以 只 
对 比 muduo 和 libevent?2 在 单线 程 下 的 性 能 。 

-muduo 的 测试 代码 位 于 examples/pingpong/ ， 代 码 如 gist2 所 示 。 
muduo 和 asio 的 优化 编译 参数 均 为 -02 -finline-limit=1000。 

$ BUILD_TYPE=release ./build.sh # 编译 muduo 的 优化 版 本 


测试 环境 


硬件 : DELL 490 工 作 站 ， 双 路 Intel 四 核 Xeon E5320 CPU， 共 8 核 ， 
主 频 1.86GHz， 内 存 16GiB。 

软件 : 操作 系统 为 Ubuntu Linux Server 10.04.1 LTS x86_64， 编 译 
器 是 g++ 4.4.3。 


测试 方法 


依据 asio 性 能 测试 2 的 办 法 ， 用 ping pong 协 议 来 测试 muduo、asio、 
libevent2 在 单机 上 的 吞吐 量 。 

简单 地 说 ，ping pong 协 议 是 客户 端 和 服务 器 都 实现 echo 协 议 。 当 
TCP 连 接 建 立时 ， 客 户 端 向 服务 器 发 送 一 些 数据 ， 服 务 器 会 echo 回 这 些 
数据 ， 然 后 客户 端 再 echo 回 服务 器 。 这 些 数据 就 会 像 乒乓 球 一 样 在 客 
户 端 和 服务 器 之 间 来 回 传 送 ， 直 到 有 一 方 断 开 连 接 为 止 。 这 是 用 来 测 
试 吞吐 量 的 常用 办 法 。 注 意 数 据 是 无 格式 的 ， 双 方 都 是 收 到 多 少数 据 
就 反射 回去 多 少数 据 ， 并 不 拆 包 ， 这 与 后 面 的 ZeroMQ 延 迟 测试 不 同 。 

我 主要 做 了 两 项 测试 : 


单线 程 测试 。 客 户 端 与 服务 器 运行 在 同一 台 机 器 ， 均 为 单线 程 ， 
测试 并 发 连接 数 为 /10/100/1000/10000 时 的 吞吐 量 。 

:多 线程 测试 。 并 发 连接 数 为 100 或 1000， 服 务 器 和 客户 端的 线程 数 
同时 设 为 /2/3/4。 (由 于 我 家 里 只 有 一 台 8 核 机 器 ， 而 且 服 务 器 和 客户 
端 运行 在 同一 台 机 器 上 ， 线 程 数 大 于 4 没有 意义 。) 


在 所 有 测试 中 ，ping pong 消 息 的 大 小 均 为 16KiB。 测 试用 的 shell 脚 
本 可 从 http://gist.github.com/564985 下 载 。 

在 同一 台 机 器 测试 吞吐 量 的 原因 如 下 : 

现在 的 CPU 很 快 ， 即 便 是 单线 程 单 TCP 连 接 也 能 把 千 兆 以 太 网 的 带 
宽 跑 满 。 如 果 用 两 台 机 器 ， 所 有 的 吞吐 量 测试 结果 都 将 是 110MiB/s， 
失去 了 对 比 的 意义 。 〈 用 Python 也 能 跑 出 同样 的 吞吐 量 ， 或 许可 以 对 比 
哪个 库 占 的 CPU 少 。 ) 

在 同一 台 机 器 上 测试 ， 可 以 在 CPU 资源 相同 的 情况 下 ， 单 纯 对 比 
网 络 库 的 效率 。 也 就 是 说 在 单线 程 下 ， 服 务 端 和 客户 端 各 占 满 1 个 
CPU， 上 比较 哪个 库 的 吞吐 量 高 。 


测试 结果 
单线 程 测试 的 结果 ( 见 图 6-3) ， 数 字 越 大 越 好 。 


单线 程 


500 
450 
400 
a 0 
下 300 
二 250 
呈 200 
外 150 
100 
50 
0 连接 数 _ 
1 10 100 1000 10000 
一 4 一 muduo 191.0 449.6 406.3 379.2 383.7 
一 上 一 asio 1.4.5 192.3 420.8 343.7 324.1 329.9 
一 国 一 asio 1.4.3 166.2 342.8 289.7 271.6 276.6 
一 一 libevent2.0.6| 174.2 240.2 240.2 210.5 184.7 


图 6-3 

以 上 结果 让 人 大 跌眼镜 ，muduo 居 然 比 libevent2 快 70%! 跟踪 
libevent2 的 源 代码 发 现 ， 它 每 次 最 多 从 socket 读 取 4096 字 节 的 数据 (证 
据 在 bufferc 的 evbuffer_read0 函 数 ) ， 怪 不 得 吞吐 量 比 muduo 小 很 多 。 
因为 在 这 一 测试 中 ，muduo 每 次 读 取 16384 字 节 ， 系 统 调用 的 性 价 比较 
[SJ]o 

为 了 公平 起 见 ， 我 册 测 了 一 次 ， 这 回 两 个 库 都 发 送 4096 字 节 的 消 
息 ( 见 图 6-4) 。 


单线 程 (4k 缓冲 ) 


全 
之 
明 
= 
本 


10 100 | 1000 | 10000 
一 上 一 muduo | 67.79 | 198.01 | 197.95 | 177.40 | 164.00 
一 可 一 libevent| 57.72 | 163.42 | 166.36 | 131.89 | 114.06 


图 6-4 


测试 结果 表明 muduo 的 吞吐 量 平均 比 libevent2 高 18% 以 上 。 
多 线程 测试 的 结果 ( 见 图 6-5) ， 数 字 越 大 越 好 。 


™ 
多 线程 (100 连接 ) 多 线程 (1000 连接 ) 
1000 一 = 700 一 - 一 -一 
900 
600 
800 
700 500 
加 om 
三 600 - 
晰 500 下 
基 在 
巷 400 | 一 临 “到 9 BB | 
300 200 
200 
100 
100 
0 线程 数 线程 数 ”0 
1 2 3 4 | 1 2 3 4 
一 二 muduo 405.0 648.1 801.0 876.8 | 一 -muduo 375.7 510.1 594.0 620.7 
-可 -asio 1.4.3| 291.0 353.0 345.5 334.9 -~ 加 -asio1.4.3| 273.0 339.3 312.2 297.8 
一 上 一 asio1.4.5| 363.5 398.4 421.7 419.2 ——asio1.4.5| 340.8 425.0 389.6 369.4 


图 6-5 


测试 结果 表明 muduo 的 吞吐 量 平均 比 asio 高 15% 以 上 。 
讨论 


muduo 出 乎 意料 地 比 asio 性 能 优越 ， 我 想 主要 得 益 于 其 简单 的 设计 
和 简洁 的 代码 。asio 在 多 线程 测试 中 表现 不 佳 ， 我 猜测 其 主要 原因 是 测 
试 代码 只 使 用 了 一 个 io_service， 如 果 改 用 “io_service per CPU” 的 话 ， 其 
性 能 应 该 有 所 提高 。 我 对 asio 的 了 解 程度 仅 限 于 能 读 懂 其 代码 ， 希 望 能 
有 asio 高 手 编 写 “io_service per CPU” 的 ping pong 测 试 ， 以 便 与 muduo 做 
一 个 公平 的 比较 。 

由 于 libevent2 每 次 最 多 从 网 络 读 取 4096 字 节 ， 这 大 大 限制 了 它 的 吞 


ping pong 测 试 很 容易 实现 ， 欢 迎 其 他 网 络 库 (ACE、POCO、 
libevent 等 ) 也 能 加 入 到 对 比 中 来 ， 期 待 这 些 库 的 高 手 出 马 。 


6.5.2 ” 击 鼓 传 花 : 对 比 muduo 与 libevent2 的 事件 处 理 效 率 


前 面 我 们 比较 了 muduo 和 1libevent2 的 吞吐 量 ， 得 到 的 结论 是 muduo 
比 libevent2 快 18%. 有 人 会 说 ，libevent2 并 不 是 为 高 吞吐 量 的 应 用 场景 而 
设计 的 ， 这 样 的 比较 不 公平 ， 胜 之 不 武 。 为 了 公平 起 见 ， 这 回 我 们 用 
libevent2 自 带 的 性 能 测试 程序 ( 击 鼓 传 花 ) 来 对 比 muduo 和 libevent2 在 
高 并 发 情况 下 的 IO 事件 处 理 效 率 。 

测试 用 的 软 硬 件 环境 与 前 一 小 节 相 同 ， 另 外 我 还 在 自己 的 DELL 
E6400 笔 记 本 电脑 上 运行 了 测试 ， 结 果 也 附 在 后 面 。 

测试 的 场景 是 : 有 1000 个 人 围 成 一 圈 ， 玩 击 鼓 传 花 的 游戏 ， 一 开 
始 第 1 个 人 手 里 有 花 ， 他 把 花 传 给 右手 边 的 人 ， 那 个 人 再 继续 把 花 传 给 
右手 边 的 人 ， 当 人 花 转手 100 次 之 后 游戏 停止 ， 记 录 从 开始 到 结束 的 时 
间 。 

用 程序 表达 是 ， 有 1000 个 网 络 连接 (socketpair(2) 或 pipe(2)) ， 数 
据 在 这 些 连 接 中 顺 次 传递 ， 一 开始 往 第 1 个 连接 里 写 1 个 字 节 ， 然 后 从 
这 个 连接 的 另 一 头 读 出 这 1 个 字 节 ， 再 写 入 第 2 个 连接 ， 然 后 读 出 来 继 


续 写 到 第 3 个 连接 ， 直 到 一 共 写 了 100 次 之 后 程序 停止 ， 记 录 所 用 的 时 
间 。 

以 上 是 只 有 一 个 活动 连接 的 场景 ， 我 们 实际 测试 的 是 100 个 或 1000 
个 活动 连接 〈 即 100 打 人 花 或 1000 休 花 ， 均 匀 分 散在 人 群 手中 ) ， 而 连接 
总 数 ( 即 并 发 数 ) 从 100~~100000 (10 万 ) 。 注 意 每 个 连接 是 两 个 文件 
苗 述 符 ， 为 了 运行 测试 ， 需 要 调 高 每 个 进程 能 打开 的 文件 数 ， 比 如 设 
为 256000。 

libevent2 的 测试 代码 位 于 test/bench.c ， 我 修复 了 2.0.6-rc 版 里 的 一 
个 小 bug。 修 正 后 的 代码 见 已 经 提交 给 libevent2 作 者 ， 现 在 下 载 的 最 新 
版 本 是 正确 的 。 

muduo 的 测试 代码 位 于 examples/pingpong/bench.cc 。 


测试 结果 与 讨论 


第 一 轮 ， 分 别 用 100 个 活动 连接 和 1000 个 活动 连接 ， 无 超时 ， 读 写 
100 次 ， 测 试 一 次 游戏 的 总 时 间 (包含 初始 化 ) 和 事件 处 理 的 时 间 (不 
包含 注册 event watcher) 随 连 接 数 (并 发 数 ) 变化 的 情况 。 具 体 解 释 见 
libev 的 性 能 测试 文档 s， 不 同 之 处 在 于 我 们 不 比较 timer event 的 性 能 ， 
只 比较 IO event 的 性 能 。 对 每 个 并 发 数 ， 程 序 循 环 25 次 ， 刨 去 第 一 次 的 
热身 数据 ， 后 24 次 算 平均 值 。 测 试用 的 脚本 2 是 libev 的 作者 Marc 
Lehmann 写 的 ， 我 略 做 改 用 ， 用 于 测试 muduo 和 1libevent2。 

第 一 轮 的 结果 ( 见 图 6-6) ， 请 先 只 看 “十 ” 线 ( 实 线 ) 和 “x” 线 ( 粗 
虚线 ) 。“x” 线 是 libevent2 用 的 时 间 ,“ 十 ” 线 是 muduo 用 的 时 间 。 数 字 越 
小 越 好 。 注 意 这 个 图 的 横 坐 标 是 对 数 的 ， 每 一 个 数量 级 的 取 值 点 为 1， 
2, 3, 4, 5, 6, 7.5, 106 
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从 两 条 线 的 对 比 可 以 看 出 : 


1. libevent2 在 初始 化 event watcher 方 面 比 muduo 快 20% (左边 的 两 
个 图 ) 。 

2. 在 事件 处 理 方面 (右边 的 两 个 图 ) 

a. 在 100 个 活动 连接 的 情况 下 ， 

当 总 连接 数 (并 发 数 ) 小 于 1000 或 大 于 30000 时 ， 二 者 性 能 差 不 


当 总 连接 数 大 于 1000 或 小 于 30000 时 ，libevent2 明 显 领 先 。 
b. 在 1000 个 活动 连接 的 情况 下 ， 

当 并 发 数 小 于 10000 时 ，1libevent2 和 muduo 得 分 接近 ; 

当 并 发 数 大 于 10000 时 ，muduo 明 显 占 优 。 


这 里 有 两 个 问题 值得 探讨 : 


1. 为 什么 muduo 花 在 初始 化 上 的 时 间 比 较 多 ? 
2. 为 什么 在 一 些 情况 下 它 比 libevent2 慢 很 多 ? 


我 仔细 分 析 了 其 中 的 原因 ， 并 参考 了 libev 的 作者 Marc Lehmann 的 
观点 2， 结 论 是 : 在 第 一 轮 初始 化 时 ，libevent2 和 muduo 都 是 用 
epoll_ctl(fd, EPOLL_CTL_ ADD, .….) 来 添加 文件 描述 符 的 event watchero 
不 同 之 处 在 于 ， 在 后 面 24 轮 中 ，muduo 使 用 了 epoll_ctl(fd,， 
EPOLL_CTL_MOD, ...) 来 更 新 已 有 的 event watcher; 然而 libevent2 继 续 
调用 epoll_ctl(fd, EPOLL_CTL_ADD, ...) 来 重复 添加 fd， 并 忽略 返回 的 错 
误 码 EEXIST (File exists) 。 在 这 种 重复 添加 的 情况 下 ， 
EPOLL_CTL_ADD 将 会 快速 地 返回 错误 ， 而 EPOLL_CTL_MOD 会 做 更 
多 的 工作 ， 花 的 时 间 也 更 长 。 于 是 libevent2 捡 了 个 便宜 。 

为 了 验证 这 个 结论 ， 我 改动 了 muduo， 让 它 每 次 都 用 
EPOLL_CTL_ADD 方 式 初始 化 和 更 新 event watcher， 并 忽略 返回 的 错 


b= | 


误 。 

第 二 轮 测 试 结果 见 图 6-6 的 细 虚 线 ， 可 见 改动 之 后 的 muduo 的 初始 
化 性 能 比 libevent2 更 好 ， 事 件 处 理 的 耗 时 也 有 所 降低 (我 推测 是 kernel 
内 部 的 原因 ) 。 

这 个 改动 只 是 为 了 验证 想法 ， 我 并 没有 把 它 放 到 muduo 最 终 的 代码 
中 去 ， 这 或 许可 以 留 作 日 后 优化 的 余地 。 (具体 的 改动 是 
muduo/net/poller/EPollPoller.cc 第 138 行 和 173 行 ， 读 者 可 自行 验证 。) 

同样 的 测试 在 双核 笔记 本 电脑 上 运行 了 一 次 ， 结 果 如 图 6-7 所 示 。 

(我 的 笔记 本 电脑 的 CPU 主 频 是 2.4GHz， 高 于 台式 机 的 1.86GHz， 所 以 
用 时 较 少 。) 
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图 6-7 


结论 : 在 事件 处 理 效率 方面 ，muduo 与 jibevent2 总 体 比 较 接 近 ， 各 
擅 胜 场 。 在 并 发 量 特别 大 的 情况 下 〈 大 于 10000) ，muduo 略 微 占 优 。 


6.5.3 muduo 与 Nginx 的 吞吐 量 对 比 


本 节 简 单 对 比 了 Nginx 1.0.12 和 muduo 0.3.1 内 置 的 简陋 HTTP 服 务 器 
的 长 连接 性 能 。 其 中 muduo 的 HTTP 实 现 和 测试 代码 位 于 muduo/net/http/ 


O 


测试 环境 


.服务 端 ， 运 行 HTTP server，8 核 DELL 490 工 作 站 ，Xeon E5320 
CPU。 

:客户 端 ， 运 行 ab2 和 weighttp#*，4 核 i5-2500 CPU。 

网络: 普通 家 用 千 焰 网 。 


测试 方法 ”为 了 公平 起 见 ，Nginx 和 muduo 都 没有 访问 文件 ， 而 是 
直接 返回 内 存 中 的 数据 。 毕 竟 我 们 想 比较 的 是 程序 的 网 络 性 能 ， 而 不 
是 机 器 的 磁盘 性 能 。 另 外 ， 这 里 客户 机 的 性 能 优 于 服务 机 ， 因 为 我 们 
要 给 服务 端 HTTP server 施 压 ， 试 图 使 其 饱和 ， 而 不 是 测试 HTTP client 
的 性 能 。 

muduo HTTP 测 试 服务 器 的 主要 代码 : 


一 muduo/net/http/tests/HttpServer test.cc 
void onRequest(const HttpRequest& req, HttpResponse* resp) 
{ 
if (req.path() == "/") { 
1 
} else if (req.path() == "/hello”) { 
resp->setStatusCode(HttpResponse: :k2000k); 
resp->setStatusMessage("OK"); 
resp->setContentType(" text/plain”); 
resp->addHeader ("Server", "Muduo"); 
resp->setBody("hello, world!\n"); 
} else { 
resp->setStatusCode(HttpResponse: :k404NotFound); 
resp->setStatusMessage("Not Found”) ; 
resp->setCloseConnection(true); 
} 


int main(int argc, char* argv[]) 
{ 


int numThreads = 0; 
if (argc > 1) 
{ 


benchmark = true; 
Logger: :setLogLevel (Logger: :WARN); 
numThreads = atoi(argv[1]); 
} 
EventLoop loop; 
HttpServer server(&loop, InetAddress(8080), "dummy"); 
server.setHttpCallback(onRequest); 
server.setThreadNum(numThreads); 
server. start(); 
1oop.1oop() ; 


一 muduo/net/http/tests/HttpServer test.cc 


Nginx 使 用 了 章 亦 春 的 HTTP echo 模 块 * 来 实现 直接 返回 数据 。 配 置 
文件 如 下 : 


#user nobody; 
worker_processes 4; 


events { 
worker_connections 10240; 


} 


http { 
include mime. types; 
default_type application/octet-stream; 


access_log off; 


sendfile on; 
tcp_nopush on; 


keepalive_timeout 65; 


server { 
listen 8080; 
server_name localhost; 


location / { 
root html; 
index index.html index.htm; 


了 


location /hello { 
default_type text/plain; 
echo "hello, world!"; 


} 


客户 端 运行 以 下 命令 来 获取 /ello 的 内 容 ， 服 务 端 返回 字符 
串 "hello, world!"。 
./ab -n 100000 -k -r -c 1000 10.0.0.9:8080/hello 

先 测 试 单线 程 的 性 能 ( 见 图 6-8) ， 横 轴 是 并 发 连接 数 ， 纵 轴 为 每 
秒 完成 的 HTTP 请 求 响应 数目 ， 下 同 。 在 测试 期 间 ，ab 的 CPU 使 用 率 低 
于 70%， 客 户 端 游 刀 有余 。 


muduo vs. Nginx 1 worker/thread 


Requests per second 
De 
un 
O 
已 
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500 


一 一 muduo| 3512 
~—Nginx | 3502 | 6639 


26319 | 39404 | 40672 | 40192 | 40278 | 39859 | 38825 | 34741 | 


图 6-8 


再 对 比 muduo 4 线程 和 Nginx 4 工作 进程 的 性 能 ( 见 图 6-9) 。 当 连 
接 数 大 于 20 时 ，top(1) 显 示 ab 的 CPU 使 用 率 达 到 85%， 已 经 饱和 ， 因 此 
换 用 weighttp ( 双 线 程 ) 来 完成 其 余 测试 。 


muduo vs. Nginx 4 workers/threads 


Requests per second 
SB 
© 
8 


1 2 5 10 | 20 | 50 100 200 | 500 1000 | 2000 | 5000 | 10000 
一 上 一 muduo 3507 | 7440 | 27512 ，51422 | 92050 | 109178 108706 107216 | 105266 101840| 100185 | 94956 | 88094 


| | | | | | | | 
一 全 一 Nginx | 3504 | 6625 | 26591 48134 | 99259 | 108125 | 106288 | 108671| 97347 | 93237 | 88303 | 79873 | 76502 


图 6-9 


CPU 使 用 率 对 比 (百分比 是 top(1) 显 示 的 数值 ) : 


.10000 并 发 连接 ，4 workers/threads，muduo 是 4x83% ，Nginx 是 
4x75% 

.1000 并 发 连接 ，4 workers/threads，muduo 是 4x85% ，Nginx 是 
4x78% 


初 看 起 来 Nginx 的 CPU 使 用 率 略 低 ， 但 是 实际 上 二 者 都 已 经 把 CPU 
资源 耗 尽 了 。 与 CPU benchmark 不 同 ， 涉 及 IO 的 benchmark 在 满 负 载 下 
的 CPU 使 用 率 不 会 达到 100%， 因 为 内 核 要 占用 一 部 分 时 间 处 理 IO。 这 
里 的 数值 差异 说 明 muduo 和 Nginx 在 满 负 答 的 情况 下 ， 用 户 态 和 内 核 态 
的 比重 略 有 区 别 。 

测试 结果 显示 muduo 多 数 情况 下 略 快 ，Nginx 和 muduo 在 合适 的 条 
件 下 gqps (每 秒 请 求 数 ) 都 能 超过 10 万 。 值 得 说 明 的 是 ，muduo 没 有 实 
现 完整 的 HITP 服 务 器 ， 而 只 是 实现 了 满足 最 基本 要 求 的 HTTP 协议 ， 
因此 这 个 测试 结果 并 不 是 说 明 muduo 比 Nginx 更 适合 用 做 httpd， 而 是 说 
明 muduo 在 性 能 方面 没有 犯 低级 错误 。 


6.5.4 muduo 与 ZeroMQ 的 延迟 对 比 


本 节 我 们 用 ZeroMQ 自 带 的 延迟 和 吞吐 量 测试 s 与 muduo 做 一 对 
比 ，muduo 代 码 位 于 examples/zeromq/ 。 测 试 的 内 容 很 简单 ， 可 以 认为 
是 86.5.1 ping pong 测 试 的 翻版 ， 不 同 之 处 在 于 这 里 的 消息 的 长 度 是 固定 
的 ， 收 到 完整 的 消息 再 echo 回 发 送 方 ， 如 此 往复 。 测 试 结果 如 图 6-10 所 
示 ， 横 轴 为 消息 的 长 度 ， 纵 轴 为 单程 延迟 〈 微 秒 ) 。 可 见 在 消息 长 度 
小 于 16KiB 时 ，muduo 的 延迟 稳定 地 低 于 ZeroMQ。 


muduo vs. ZeroMQ latency on GbE 
350.0 | 


300.0 | 
| 
250.0 | 
| 
200.0 | 


150.0 | 


Average latency [us] 
lower is better 


1000 | 
50.0 | 
和 

|112|14|8 |1|32|64|128|256|512| 1k | 2k | ak | gk [16k 
一 一 muduo | 43.2 | 43.1| 43.1 | 43.6 | 44.3 | 44.7 | 118 | 125 | 138 | 133 | 149 | 165 | 181 | 154 | 230 
~ 各 ~ZeroMQ | 62.2 | 61.8 | 61.9 62.4 |62.8 | 63.8| 138 | 149 | 155 | 154 | 172 | 193 | 206 | 182 | 289 


图 6-10 


6.6 ”详解 muduo 多 线程 模型 


本 节 以 一 个 Sudoku Solver 为 例 ， 回 顾 了 并 发 网 络 服务 程序 的 多 种 
设计 方案 ， 并 介绍 了 使 用 muduo 网 络 库 编写 多 线程 服务 器 的 两 种 最 常用 
手法 。 下 一 章 的 例子 展现 了 muduo 在 编写 单线 程 并 发 网 络 服务 程序 方面 
的 能 力 与 便捷 性 。 今 天 我 们 先 看 一 看 它 在 多 线程 方面 的 表现 。 本 节 代 
码 参 见 : examples/sudoku/ 。 


6.6.1 ” 数 独 求解 服务 器 


假设 有 这 么 一 个 网 络 编 程 任务 : 写 一 个 求解 数 独 的 程序 (Sudoku 
Solver) ， 并 把 它 做 成 一 个 网 络 服务 。 

Sudoku Solver 是 我 喜爱 的 网 络 编程 例子 ， 它 曾经 出 现在 “分 布 式 系 
统 部 署 、 监 控 与 进程 管理 的 几 重 境 界 ”(89.8) 、“muduo Buffer 类 的 设 
计 与 使 用 ”(87.4) 、“‘ 多 线程 服务 器 的 适用 场合 ' 例 释 与 答疑 ? (83.6) 


等 处 ， 它 也 可 以 看 成 是 echo 服 务 的 一 个 变种 (附录 A“ 谈 一 谈 网 络 编程 
学 习 经 验 ” 把 echo 列 为 三 大 TCP 网 络 编程 案例 之 一 ) 。 

写 这 么 一 个 程序 在 网 络 编程 方面 的 难度 不 高 ， 跟 写 echo 服 务 差 不 
多 〈 从 网 络 连 接 读 入 一 个 Sudoku 题 目 ， 算 出 答案 ， 再 发 回 给 客户 ) ， 
挑战 在 于 怎样 做 才能 发 挥 现在 多 核 硬 件 的 能 力 ? 在 谈 这 个 问题 之 前 ， 
让 我 们 先 写 一 个 基本 的 单线 程 版 。 


协议 


一 个 简单 的 以 \in 分 隔 的 文本 行 协议 ， 使 用 TCP 长 连接 ， 客 户 端 在 
不 需要 服务 时 主动 断 开 连 接 。 

请 求 : [id:]<81digits>\rn 

响应 : [id:]<81digits>\r\n 

或 者 : [id:]NoSolution\rn 

其 中 [id:] 表 示 可 选 的 id， 用 于 区 分 先后 的 请 求 ， 以 支持 Parallel 
Pipelining， 响 应 中 会 回 显 请 求 中 的 id。Parallel Pipelining 的 意义 见 赖 勇 
浩 的 《以 小 见 大 一 那些 基于 Protobuf 的 五 花 八 门 的 RPC (2) 》*, 或 
者 见 我 写 的 《分 布 式 系统 的 工程 化 开发 方法 》z 第 54 页 关于 out-of-order 
RPC 的 介绍 。 

<81digits> 是 Sudoku 的 棋盘 ，9x9 个 数字 ， 从 左上 角 到 右 下 角 按 行 
扫描 ， 未 知 数字 以 0 表示 。 如 果 Sudoku 有 解 ， 那 么 响应 是 填 满 数字 的 棋 
盘 ; 如果 无 解 ， 则 返回 NoSolution。 

例子 1 ”请 求 : 
000000010400000000020000000000050407008000300001090000300400200050100000000806000NArNn 
响应 : 
693784512487512936125963874932651487568247391741398625319475268856129743274836159\r\n 

例子 2 请求 : 
a:0000000104000000000200000000006050407008000300001090000300400200050100000000806000\r\n 
响应 : 


a:693784512487512936125963874932651487568247391741398625319475268856129743274836159\r\n 


例子 3 ”请 求 : 
b:000000010400000000020000000000050407008000300001090000300400200050100000000806005\r\n 
响应 : b:NoSolutionr\n 

基于 这 个 文本 协议 ， 我 们 可 以 用 telnet 模 拟 客户 端 来 测试 
SudokuSolver， 不 需要 单独 编写 Sudoku Client。Sudoku Solver 的 默认 端 
口号 是 9981， 因 为 它 有 9x9 三 81 个 格子 。 


基本 实现 


Sudoku 的 求解 算法 见 《 谈 谈 数 独 〈Sudoku) 》# 一 文 ， 这 不 是 本 文 
的 重点 。 假 设 我 们 已 经 有 一 个 函数 能 求解 Sudoku， 扬 的 原型 如 下 : 


string solveSudoku(const string& puzzle); 

函数 的 输入 是 上 文 的 “<81digits>”， 输 出 是 “<81digits>” 或 
“NoSolution”。 这 个 函数 是 个 pure function， 同 时 也 是 线程 安全 的 。 

有 了 这 个 函数 ， 我 们 以 $6.4.2“echo 服 务 的 实现 ”中 出 现 的 
EchoServer 为 蓝本 ， 稍 加 修改 就 能 得 到 SudokuServer。 这 里 只 列 出 最 关 
键 的 onMessaze0 函 数 . 完整 的 代码 见 examples/sudoku/server basic.cc 。 
onMessageO 的 主要 功 肯 E 是 处 理 协议 格式 ， 并 调用 solveSudoku() 求 解 问 
题 。 这 个 函数 应 该 能 正确 处 理 TCP 分 包 。 


examples/sudoku/server_basic.cc 
const int kCells = 81; // 81 个 格子 


void onMessage(const TcpConnectionPtr& conn, Buffer*x buf, Timestamp) 
1 
LOG_DEBUG << conn->name(); 
size_t len = buf->readableBytes(); 
while (len >= kCells + 2) // 反复 读 取 数据 ，2 为 回 车 换行 字符 
{ 
const char* crlf = buf->findCRLF(); 
if (crlf) // 如 果 找到 了 一 条 完整 的 请 求 
6 
string request(buf->peek()，crlf); // 取出 请 求 
string id; 
buf->retrieveUntil(crlf + 2); // retrieve 已 读 取 的 数据 
string: :iterator colon = find(request.begin(), request.end(), ':'); 
if (colon != request.end()) // 如 果 找 到 了 id 部 分 
{ 
id.assign(request.begin(), colon); 
request.erase(request.begin(), colon+]1); 
gs 
if (request.size() == implicit_cast<size_t>(kCells)) // 请 求 的 长 度 合法 
{ 
string result = solveSudoku(request); // 求解 数 独 ， 然 后 发 回响 应 
if (id.empty()) 
{ 


conn->send(resuyult+"\r\n"); 


} 


else 


{ 


conn->send(id+":"+result+"\r\n"); 


} 


1 

else // 非法 请 求 ， 断 开 连 接 

{ 
conn->send("Bad Request!\r\n"); 
conn->shutdown() ; 


& 
else // 请 求 不 完整 ， 退 出 消息 处 理 函 数 
{ 


break; 
} 
} 


} 
examples/sudoku/server_basic.cc 


server_basic.cc 是 一 个 并 发 服务 器 ， 可 以 同时 服务 多 个 客户 连接 。 但 


是 它 是 单线 程 的 ， 无 法 发 挥 多 核 硬件 的 能 力 。 


Sudoku 是 一 个 计算 密集 型 的 任务 〈 见 87.4 中 关于 其 性 能 的 分 析 ) ， 
其 瓶颈 在 CPU。 为 了 让 这 个 单线 程 server_basic 程 序 充分 利用 CPU 资 
源 ， 一 个 简单 的 办 法 是 在 同一 台 机 器 上 部 署 多 个 server_basic 进 程 ， 让 
每 个 进程 占用 不 同 的 端口 ， 比 如 在 一 台 8 核 机 器 上 部 署 8 个 server_basic 
进程 ， 分 别 占 用 9981，9982，...，9988 端 口 。 这 样 做 其 实 是 把 难题 推 
给 了 客户 端 ， 因 为 客户 端 (s) 要 自己 做 负载 均衡 。 再 想 得 远 一 点 ， 在 8 个 
server_basic 前 面部 署 一 个 load balancer? 似乎 小 题 大 做 了 。 

能 不 能 在 一 个 端口 上 提供 服务 ， 并 且 又 能 发 挥 多 核 处 理 器 的 计算 
能 力 呢 ? 当然 可 以 ， 办 法 不 止 一 种 。 


6.6.2 ”常见 的 并 发 网 络 服务 程序 设计 方案 


W. Richard Stevens 的 《UNIX 网 络 编程 (第 2 版 )》 第 27 章 “Client- 
Server Design Alternatives” 介 绍 了 十 来 种 当时 〈20 世 纪 90 年 代 末 ) 流行 
的 编写 并 发 网 络 程序 的 方案 。[UNP] 第 3 版 第 30 章 ， 内 容 未 变 ， 还 是 这 
几 种 。 以 下 简称 UNP CSDA 方 案 。[UNP] 这 本 书 主要 讲解 阻塞 式 网 络 编 
程 ， 在 非 阻 塞 方面 着 墨 不 多 ， 仪 有 一 章 。 正 人 确 使 用 non-blocking IO 需要 
考虑 的 问题 很 多 ， 不 适宜 直接 调用 Sockets API， 而 需要 一 个 功能 完善 
的 网 络 库 支 撑 。 

随 着 2000 年 前 后 第 一 次 互联 网 浪潮 的 兴起 ， 业 界 对 高 并 发 HTTP 服 
务 器 的 强烈 需求 大 大 推动 了 这 一 领域 的 研究 ， 目 前 高 性 能 httpd 普 遍 采 
用 的 是 单线 程 Reactor 方 式 。 另 外 一 个 说 法 是 IBM Lotus 使 用 TCP 长 连接 
协议 ， 而 把 Lotus 服 务 端 移植 到 Linux 的 过 程 中 IBM 的 工程 师 们 大 大 提高 
了 Linux 内 核 在 处 理 并 发 连接 方面 的 可 伸缩 性 ， 因 为 一 个 公司 可 能 有 上 
万 人 同时 上 线 ， 连 接 到 同一 台 跑 着 Lotus Server 的 Linux 服 务 器 。 

可 伸缩 网 络 编程 这 个 领域 其 实 近 十 年 来 没什么 新 东西 ，POSA2 已 
经 进行 了 相当 全 面 的 总 结 ， 另 外 以 下 几 篇 文章 也 值得 参考 。 


:http://bulk.fefe.de/scalable-networking.pdf 
:http://www.kegel.com/c10k.html 
:http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf 


表 6-1 是 笔者 总 结 的 12 种 常见 方案 。 其 中 “互通 ” 指 的 是 如 果 开 发 
chat 服 务 ， 多 个 客户 连接 之 间 是 否 能 方便 地 交换 数据 (chat 也 是 附录 A 
中 举 的 三 大 TCP 网 络 编程 案例 之 一 ) 。 对 于 echo/httpd/Sudoku 这 类 “和 连接 
相互 独立 ”的 服务 程序 ， 这 个 功能 无 足 轻 重 ， 但 是 对 于 chat 类 服务 却 至 
关 重 要 。 “顺序 性 ” 指 的 是 在 httpd/Sudoku 这 类 请 求 响应 服务 中 ， 如 果 客 
户 连接 顺序 发 送 多 个 请 求 ， 那 么 计算 得 到 的 多 个 响应 是 否 按 相同 的 顺 
序 发 还 给 客户 (这 里 指 的 是 在 自然 条 件 下 ， 不 含 刻意 同步 ) 。 


表 6-1 


RN MRE |W [|THE IT | loodpeaWiySopea[TT| 
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案 5 也 是 目前 用 得 很 多 的 单线 程 


归 入 0~~5。 方 


UNP CSDA 方 案 
Reactor 方 案 ，muduo 对 此 提 


实 不 是 


的 支持 。 方 案 6 和 方案 7 其 


很 好 


供 了 


实用 的 方案 ， 只 是 作为 过 渡 品 。 方 案 8 和 方案 9 是 本 文 重点 介绍 的 方 
案 ， 其 实 这 两 个 方案 已 经 在 83.3“ 多 线程 服务 器 的 常用 编程 模型 ”中 提 到 
过 ， 只 不 过 当时 没有 用 有 具体 的 代码 示例 来 说 明 。 

在 对 比 各 方案 之 前 ， 我 们 先 看 看 基本 的 micro benchmark 数 据 (前 
两 项 由 Thread_bench.cc 测 得 ， 第 三 项 由 BlockingQueue_bench.cc 测 得 ， 硬 
件 为 E5320， 内 核 Linux 2.6.32) : 


:fork()+exit(): 534.7Hso 

:pthread_create()+pthread_join(): 42.5hs， 其 中 创建 线程 用 了 
260.1hso 

:push/pop a blocking queue : 11.5hso 

“Sudoku resolve: 100us 〈 根 据 题目 难度 不 同 ， 浮 动 范围 20 人 ~ 
200hs) 。 


方案 0 ”这 其 实 不 是 并 发 服务 器 ， 而 是 iterative 服 务 器 ， 因 为 它 一 
次 只 能 服务 一 个 客户 。 代 码 见 [UNP] 中 的 Figure 1.9，[UNP] 以 此 为 对 比 
其 他 方案 的 基准 点 。 这 个 方案 不 适合 长 连接 ， 倒 是 很 适合 daytime 这 种 
write-only 短 连接 服务 。 以 下 Python 代码 展示 用 方案 0 实现 echo server 的 
大 致 做 法 〈 本 章 的 Python 代码 均 没有 考虑 错误 处 理 ) : 


recipes/python/echo-iterative,py 
import socket 


while True: 


3 

4 

5 def handle(client_socket, client_address): 
6 

7 data = client_socket.recv(4096) 

8 


if data: 


9 sent = client_socket. send(data) # sendall? 

10 else: 

11 print "disconnect", client_address 

12 client_socket.close() 

13 break 

14 

15 if __name__ == "__main__": 

16 listen_address = ("0.0.0.0", 2007) 

17 server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
18 server_socket.bind(listen_address) 

19 server_socket.1listen(5) 

20 

21 while True: 

22 (client_socket, client_address) = server_socket.accept() 
23 print "got connection from”, client_address 

24 handle(client_socket, client_address) 


recipes/python/echo-iterative.py 


L6~ 工 13 是 echo 服 务 的 “业务 逻辑 循环 "”， 从 L21~L24 可 以 看 出 它 一 
次 只 能 服务 一 个 客户 连接 。 后 面 列举 的 方案 都 是 在 保持 这 个 循环 的 功 
能 不 变 的 情况 下 ， 设 法 能 高 效 地 同时 服务 多 个 客户 端 。L9 代 码 值 得 商 
检 ， 或 许 应 该 用 sendall0 函 数 ， 以 确保 完整 地 发 回 数 据 。 

方案 1 ”这 是 传统 的 Unix 并 发 网 络 编程 方案 ，[UNP] 称 之 为 child- 
per-client 或 fork()-per-client， 另 外 也 俗称 process-per-connection。 这 种 方 
案 适 合并 发 连接 数 不 大 的 情况 。 至 今 仍 有 一 些 网 络 服务 程序 用 这 种 方 
式 实现 ， 比 如 PostgreSQL 和 Perforce 的 服务 端 。 这 种 方案 适合 “计算 响应 
的 工作 量 远 大 于 fork() 的 开销 ”这 种 情况 ， 比 如 数据 库 服务 器 。 这 种 方案 
适合 长 连接 ， 但 不 太 适 合 短 连接 ， 因 为 fork0 开 销 大 于 求解 Sudoku 的 用 
时 。 

Python 示例 如 下 ， 注 意 其 中 L9~L16 正 是 前 面 的 业务 逻辑 循环 ， 
selfrequest 代 替 了 前 面 的 client_socket。 ForkingTCPServer 会 对 每 个 客户 
连接 新 建 一 个 子 进程 ， 在 子 进 程 中 调用 EchoHandlerhandle0， 从 而 同时 
服务 多 个 客户 端 。 在 这 种 编程 方式 中 ， 业 务 逻 辑 已 经 初步 从 网 络 框架 
分 离 出 来 ， 但 是 仍然 和 IO 紧密 结合 。 


recipes/python/echo-fork.py 


1 #!/usr/bin/python 

2 

3 from SocketServer import BaseRequestHandler, TCPServer 

4 from SocketServer import ForkingTCPServer, ThreadingTCPServer 
5 

6 Class EchoHandler(BaseRequestHandler): 

7 def handle(self): 

8 print "got connection from”, self.client_address 

9 while True: 

10 data = Self.request.recv(4096) 

11 if data: 

12 sent = self.request.send(data) # sendall? 
13 else: 

14 print "disconnect”, self.client_address 

15 self.request.close() 

16 break 

17 

18 if __name__ == "__main__": 

19 listen_address = ("0.0.0.0", 2007) 

20 server = ForkingTCPServer(listen_address, EchoHandler) 
21 server.serve_forever() 


recipes/python/echo-fork.py 


方案 2 ”这 是 传统 的 Java 网 络 编程 方案 thread-per-connection， 在 
Java 1.4 引 入 NIO 之 前 ，Java 网 络 服 务 多 采用 这 种 方案 。 它 的 初始 化 开销 
比方 案 1 要 小 很 多 ， 但 与 求解 Sudoku 的 用 时 差不多 ， 仍 然 不 适合 短 连接 
服务 。 这 种 方案 的 伸缩 性 受到 线程 数 的 限制 ， 一 两 百 个 还 行 ， 几 千 个 
的 话 对 操作 系统 的 scheduler 恐 怕 是 个 不 小 的 负担 。 

Python 示例 如 下 ， 只 改动 了 一 行 代 码 。ThreadingTCPServer 会 对 每 
个 客户 连接 新 建 一 个 线程 ， 在 该 线程 中 调用 EchoHandlerhandle()。 


$ diff -U2 echo-fork.py echo-thread .py 
if __name__ == "__main__": 
listen_address = ("0.0.0.0”", 2007) 
一 server = ForkingTCPServer(listen_address, EchoHandler) 
+ server = ThreadingTCPServer(listen_address, EchoHandler) 
server.serve_forever() 


这 里 再 次 体现 了 将 “并 发 策略 ”与 业务 逻辑 (EchoHandler.handle()) 
分 离 的 思路 。 用 同样 的 思路 重 写 方案 0 的 代码 ， 可 得 到 : 


$ diff -U2 echo-fork.py echo-single.py 
if __name__ == "__main 


于 server = ForkingTCPServer(listen_address, EchoHandler) 
+ server = TCPServer(listen_address, EchoHandler) 
server.serve_forever() 


方案 3 ”这 是 针对 方案 1 的 优化 ，[UNP] 详 细 分 析 了 几 种 变化 ， 包 
括 对 accept(2)“ 惊 群 * 问 题 (thundering herd) 的 考虑 。 

方案 4 ”这 是 对 方案 2 的 优化 ，[UNP] 详 细 分 析 了 它 的 几 种 变化 。 
方案 3 和 方案 4 这 两 个 方案 都 是 Apache httpd 长 期 使 用 的 方案 。 

以 上 几 种 方案 都 是 阻塞 式 网 络 编程 ， 程 序 流程 (thread of control) 
通常 阻塞 在 read() 上 ， 等 待 数 据 到 达 。 但 是 TCP 是 个 全 双 工 协议 ， 同 时 
支持 read() 和 write() 操 作 ， 当 一 个 线程 进程 阻塞 在 read() 上 ， 但 程序 又 
想 给 这 个 TCP 连 接 发 数据 ， 那 该 怎么 办 ? 比如 说 echo dlient， 既 要 从 
stdin 读 ， 又 要 从 网 络 读 ， 当 程序 正在 阻塞 地 读 网 络 的 时 候 ， 如 何 处 理 
键盘 输入 ? 

又 比如 proxy， 既 要 把 连接 a 收 到 的 数据 发 给 连接 bp， 又 要 把 从 b 收 到 
的 数据 发 给 8a， 那么 到 底 读 哪个 ? (proxy 是 附录 A 讲 的 三 大 TCP 网 络 编 
程 案例 之 一 。) 

一 种 方法 是 用 两 个 线程 人 进程， 一 个 负责 读 ， 一 个 负责 写 。[UNP] 
也 在 实现 echo client 时 介绍 了 这 种 方案 。87.13 举 了 一 个 Python 双 线程 
TCP relay 的 例子 ， 另 外 见 Python Pinhole 的 代码 : 
http://code.activestate.com/recipes/114642/ 。 

另 一 种 方法 是 使 用 IO multiplexing， 也 就 是 select/poll/epoll/kqueue 
这 一 系列 的 “多 路 选择 器 ”， 让 一 个 thread of control 能 处 理 多 个 连接 。 
“IO 复 用 ”其 实 复 用 的 不 是 IO 连接 ， 而 是 复 用 线程 。 使 用 selectypoll 几 乎 
肯定 要 配合 non-blocking IO， 而 使 用 non-blocking IO 肯定 要 使 用 应 用 层 
buffer， 原 因 见 87.4。 这 就 不 是 一 件 轻松 的 事 儿 了 ， 如 果 每 个 程序 都 去 
搞 一 套 自己 的 IO multiplexing 机 制 《本 质 是 event-driven 事 件 驱动 ) ， 这 
是 一 种 很 大 的 浪费 。 感 谢 Doug Schmidt 为 我 们 总 结 出 了 Reactor 模 式 ， 

让 event-driven 网 络 编程 有 章 可 循 。 继 而 出 现 了 一 些 通用 的 Reactor 框 架 


二 库 ， 比 如 libevent、muduo、Netty、twisted、POE 等 等 。 有 了 这 些 
库 ， 我 想 基 本 不 用 去 编写 阻塞 式 的 网 络 程序 了 (特殊 情况 除外 ， 比 如 
proxy 流 量 限制 ) 。 

这 里 先 用 一 小 段 Python 代码 简要 地 回顾 “以 IO multiplexing 方 式 实现 
并 发 echo server” 的 基本 做 法 2。 为 了 简单 起 见 ， 以 下 代码 并 没有 开局 
non-blocking， 也 没有 考虑 数据 发 送 不 完整 (L28) 等 情况 。 首 先 定义 
一 个 从 文件 描述 符 到 socket 对 象 的 映射 〈L14) ， 程序 的 主体 是 一 个 事 
件 循环 〈L15~L32) ， 每 当 有 IO 事件 发 生 时 ， 就 针对 不 同 的 文件 描述 
符 (fleno) 执行 不 同 的 操作 (L16,L17) 。 对 于 listening fd， 接 受 

(accept) 新 连接 ， 并 注册 到 IO 事 件 关 注 列 表 (watch list) ， 然 后 把 连 
接 添加 到 connections 字 典 中 (L18~L23) 。 对 于 客户 连接 ， 则 读 取 并 
回 显 数据 ， 并 处 理 连接 的 关闭 (L24~L32) 。 对 于 echo 服 务 而 言 ， 真 
正 的 业务 逻辑 只 有 L28: 将 收 到 的 数据 原样 发 回 客户 端 。 


一 一 一 一 一 一 一 一 一 一 一 一 一 CC reclpes/python/echo-poll,py 
6 Server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 

7 Sserver_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 

8 server_socket.bind(('', 2007)) 

9 server_socket.listen(5) 

10 # server_socket.setblocking(0) 

11 poll = select.poll() # epoll() should work the same 

12 poll.register(server_socket.fileno(), select.POLLIN) 


14 connections = {} 
15 while True: 


16 events = pol1l1.pol1(10000) # 1 seconds 

条 for fileno，event in events : 

18 if fileno == Server_socket.fileno(): 

19 (client_socket, client_address) = server_socket.accept() 
20 print "got connection from", client_address 

21 # Client_socket.setblocking(0) 

22 poll.register(client_socket.fileno(), select.POLLIN) 
23 connections[client_socket.fileno()] = client_socket 
24 elif event & select.POLLIN: 

25 client_socket = connections[fileno] 

26 data = client_socket.recv(4096) 

27 if data: 

28 client_socket.send(data) # sendall() partial? 

29 else: 

30 poll.unregister(fileno) 

31 client_socket.close() 

32 del connections[fileno] 


一 recipes/python/echo-poll.py 


注意 以 上 代码 不 是 功能 完善 的 IO multiplexing 范 本 ， 它 没有 考虑 错 
误 处 理 ， 也 没有 实现 定时 功能 ， 而 且 只 适合 侦 听 (listen) 一 个 端口 的 
网 络 服务 程序 。 如 果 需 要 侦 听 多 个 端口 ， 或 者 要 同时 扮演 客户 端 ， 那 
么 代码 的 结构 需要 推倒 重 来 。 

这 个 代码 骨架 可 用 于 实现 多 种 TCP 服 务 器 。 例 如 写 一 个 聊天 服务 只 
需 改 动 3 行 代 码 ， 如 下 所 示 。 业 务 逻 辑 是 L28~L30: 将 本 连接 收 到 的 数 
据 转 发 给 其 他 客户 连接 。 


$ diff echo-poll.py chat-poll.py -U4 
--- echo-poll.py 2012-08-20 08:50:49.000000000 +0800 
+++ chat-poll.py 2012-08-20 08:50:49.000000000 +0800 


23 elif event & select.POLLIN: 

24 clientsocket = connections[fileno] 
25 data = clientsocket.recv(40696) 

26 if data: 


clientsocket.send(data) # sendall() partial? 


28 + for (fd, othersocket) in connections.iteritems(): 
29 + if othersocket != clientsocket : 

30 + othersocket .send(data) # sendall() partial? 
31 else: 

32 poll.unregister(fileno) 

33 clientsocket.close() 

34 del connections[fileno] 


但 是 这 种 把 业务 逻辑 隐藏 在 一 个 大 循环 中 的 做 法 其 实 不 利于 将 来 
功能 的 扩展 ， 我 们 能 不 能 设法 把 业务 逻辑 抽取 出 来 ， 与 网 络 基础 代码 
分 离 呢 ? 

Doug Schmidt 指出 ， 其 实 网 络 编程 中 有 很 多 是 事务 性 (routine) 的 
工作 ， 可 以 提取 为 公用 的 框架 或 库 ， 而 用 户 只 需要 填 上 关键 的 业务 逻 
辑 代 码 ， 并 将 回调 注册 到 框架 中 ， 就 可 以 实现 完整 的 网 络 服务 ， 这 正 
是 Reactor 模 式 的 主要 思想 。 

如 果 用 传统 Windows GUI 消息 循环 来 做 一 个 类 比 ， 那 么 我 们 前 面 展 
示 IO mnultiplexing 的 做 法 相当 于 把 程序 的 全 部 逻辑 都 放 到 了 窗口 过 程 

(WndProc) 的 一 个 巨大 的 switch-case 语 句 中 ， 这 种 做 法 无 疑 是 不 利于 
扩展 的 。 《各 种 GUI 框架 在 此 各 显 神通 。) 


1 LRESULT CALLBACK WndProc(HWND hwnd, UINT message，WPARAM wParam, LPARAM lParam) 
2 

3 switch (message) 

4 

5 case WM_DESTROY: 

6 PostQuitMessage(0); 
7 return 0; 

8 

9 

0 

1 


// many more cases 


return DefWindowProc (hwnd, message, wParam, lParam) ; 


而 Reactor 的 意义 在 于 将 消息 〈IO 事 件 ) 分 发 到 用 户 提 供 的 处 理疗 
数 ， 并 保持 网 络 部 分 的 通用 代码 不 变 ， 独 立 于 用 户 的 业务 逻辑 。 

单线 程 Reactor 的 程序 执行 顺序 如 图 6-11 ( 左 图 ) 所 示 。 在 没有 事 
件 的 时 候 ， 线 程 等 待 在 select/poll/epoll_wait 等 水 数 上 。 事 件 到 达 后 由 网 
络 库 处 理 IO， 再 把 消息 通知 (回调 ) 客户 端 代码 。Reactor 事 件 循 环 所 
在 的 线程 通常 叫 IO 线程 。 通 常 由 网 络 库 负 责 读 写 socket， 用 户 代 码 负载 
解码 、 计 算 、 编 码 。 

注意 由 于 只 有 一 个 线程 ， 因 此 事件 是 顺序 处 理 的 ， 一 个 线程 同时 
只 能 做 一 件 事情 。 在 这 种 协作 式 多 任务 中 ， 事 件 的 优先 级 得 不 到 保 
证 ， 因 为 从 “poll 返 回 之 后 ”到 “下 一 次 调用 poll 进 入 等 待 之 前 ”这 段 时 间 ] 
内 ， 线 程 不 会 被 其 他 连接 上 的 数据 或 事件 抢占 ( 见 图 6-11 的 右 图 ) 。 如 
果 我 们 想 要 延迟 计算 (把 compute0 推 迟 100ms) ， 那 么 也 不 能 用 sleep0) 
之 类 的 阻塞 调用 ， 而 应 该 注册 超时 回调 ， 以 避免 阻塞 当前 IO 线程 。 
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方案 5 ”基本 的 单线 程 Reactor 方 案 〈 见 图 6-11) ， 即 前 面 的 
server_basic.cc 程序 。 本 文 以 它 作为 对 比 其 他 方案 的 基准 点 。 这 种 方案 的 
优点 是 由 网 络 库 搞定 数据 收发 ， 程 序 只 关心 业务 逻辑 ; 缺点 在 前 面 已 
经 谈 了 : 适合 IO 密 集 的 应 用 ， 不 太 适 合 CPU 密 集 的 应 用 ， 因 为 较 难 发 
挥 多 核 的 威力 。 另 外 ， 与 方案 2 相 比 ， 方 案 5 处 理 网 络 消息 的 延迟 可 能 
要 略 大 一 些 ， 因 为 方案 2 直接 一 次 read(2) 系 统 调 用 就 能 拿 到 请 求 数据 ， 
而 方案 5 要 先 poll(2) 再 read(2)， 多 了 一 次 系统 调用 。 

这 里 用 一 小 段 Python 代码 展示 Reactor 模 式 的 雏形 。 为 了 节省 篇 
幅 ， 这 里 直接 使 用 了 全 局 变量 ， 也 没有 处 理 异常 。 程 序 的 核心 仍然 是 


事件 循环 〈L42~L46) ， 与 前 面 不 同 的 是 ， 事 件 的 处 理 通过 handlers 转 
发 到 各 个 函数 中 ， 不 再 集中 在 一 坨 。 例 如 listening fd 的 处 理 函 数 是 
handle_accept， 它 会 注册 客户 连接 的 handler。 普 通 客 户 连接 的 处 理 水 数 
是 handle_request， 其 中 又 把 连接 断 开 和 数据 到 达 这 两 个 事件 分 开 ， 后 
者 由 handle_input 处 理 。 业 务 逻 辑 位 于 单独 的 handle_input 光 | 数 ， 实 现 了 
分 离 。 


recipes/python/echo-reactor.py 
server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
server_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 
server_socket.bind(('', 2007)) 

server_socket.listen(5) 

# Serversocket.setblocking(0) 


poll = select.poll() # epoll() should work the same 
connections = {} 
handlers = {0} 


def handle_input(socket, data): 
socket.send(data) # sendall() partial? 


def handle_request(fileno, event): 
if event & select.POLLIN: 

client_socket = connections[fileno] 

data = client_socket.recv(4096) 

if data: 
handle_input(client_socket, data) 

else: 
poll.unregister(fileno) 
client_socket.close() 
del connections[fileno] 
del handlers[fileno] 


def handle_accept(fileno, event): 
(client_socket, client_address) = server_socket.accept() 
print "got connection from", client_address 
# client_socket.setblocking(0) 
poll.register(client_socket.fileno(), select.POLLIN) 
connections[client_socket.fileno()] = client_socket 
handlers[client_socket.fileno()] = handle_request 


poll.register(server_socket.fileno(), select.POLLIN) 
handlers[server_socket.fileno()] = handle_accept 


while True: 
events = pol1.pol1(10000) # 10 seconds 
for fileno，event in events: 
handler = handlers[fileno] 
handler (fileno, event) 
recipes/python/echo-reactor.py 


如 果 要 改 成 聊天 服务 ， 重 新 定义 handle_input 匡 数 即 可 ， 程 序 的 其 余部 
分 保持 不 变 。 


$ diff echo-reactor .py chat-reactor.py -UI1 
def handle_input(socket, data): 
~ socket.send(data) # sendall() partial? 
+ for (fd, other_socket) in connections.iteritems(): 
+ if other_socket != socket: 
+ other_socket. send(data) # sendall() partial? 

必须 说 明 的 是 ， 完 善 的 非 阻 塞 1O 网 络 库 远 比 上 面 的 玩具 代码 复 
杂 ， 需 要 考虑 各 种 错误 场景 。 特 别 是 要 真正 接管 数据 的 收发 ， 而 不 是 
像 上 面 的 示例 那样 直接 在 事件 处 理 回调 阅 数 中 发 送 网 络 数据 。 

注意 在 使 用 非 阻 塞 1O 十 事件 驱动 方式 编程 的 时 候 ， 一 定 要 注意 避 
免 在 事件 回调 中 执行 耗 时 的 操作 ， 包 括 阻塞 IO 等 ， 否 则 会 影响 程序 的 
响应 。 这 和 Windows GUI 消息 循环 非常 类 似 。 

方案 6 ”这 是 一 个 过 渡 方 案 ， 收 到 Sudoku 请 求 之 后 ， 不 在 Reactor 
线程 计算 ， 而 是 创建 一 个 新 线程 去 计算 ， 以 充分 利用 多 核 CPU。 这 是 
非常 初级 的 多 线程 应 用 ， 因 为 它 为 每 个 请 求 (而 不 是 每 个 连接 ) 创建 
了 一 个 新 线程 。 这 个 开销 可 以 用 线程 闻 来 避免 ， 即 方案 8。 这 个 方案 还 
有 一 个 特点 是 out-of-order， 即 同时 创建 多 个 线程 去 计算 同一 个 连接 上 
收 到 的 多 个 请 求 ， 那 么 算出 结果 的 次 序 是 不 确定 的 ， 可 能 第 2 个 Sudoku 
比较 简单 ， 比 第 1 个 先 算出 结果 。 这 也 是 我 们 在 一 开始 设计 协议 的 时 候 
使 用 了 id 的 原因 ， 以 便 客户 端 区 分 response 对 应 的 是 哪个 request。 

方案 7 ”为 了 让 返回 结果 的 顺序 确定 ， 我 们 可 以 为 每 个 连接 创建 一 
个 计算 线程 ， 每 个 连接 上 的 请 求 固定 发 给 同一 个 线程 去 算 ， 先 到 先 
得 。 这 也 是 一 个 过 渡 方 案 ， 因 为 并 发 连接 数 受 限于 线程 数目 ， 这 个 方 
案 或 许 还 不 如 直接 使 用 阻塞 IO 的 thread-per-connection 方 案 2。 

方案 7 与 方案 6 的 另外 一 个 区 别 是 单个 client 的 最 大 CPU 占用 率 。 在 
方案 6 中 ， 一 个 TCP 连 接 上 发 来 的 一 长 串 突 发 请 求 (burst requests) 可 以 
占 满 全 部 8 个 core; 而 在 方案 7 中 ， 由 于 每 个 连接 上 的 请 求 固 定 由 同一 个 
线程 处 理 ， 那 么 它 最 多 占用 12.5% 的 CPU 资源 。 这 两 种 方案 各 有 优 劣 ， 
取决 于 应 用 场景 的 需要 (到 底 是 公平 性 重要 还 是 突 发 性 能 重要 ) 。 这 
个 区 别 在 方案 8 和 方案 9 中 同样 存在 ， 需 要 根据 应 用 来 取舍 。 


方案 8 ”为 了 弥补 方案 6 中 为 每 个 请 求 创建 线程 的 缺陷 ， 我 们 使 用 
固定 大 小 线程 池 ， 程 序 结构 如 图 6-12 所 示 。 全 部 的 IO 工作 都 在 一 个 
Reactor 线 程 完成 ， 而 计算 任务 交 给 thread pool。 如 果 计 算 任务 彼此 独 
立 ， 而 且 IO 的 讨 力 不 大 ， 那 么 这 种 方案 是 非常 适用 的 。Sudoku Solver 
正好 符合 。 代 码 参 见 : examples/sudoku/server threadpoolcc 。 
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图 6-12 


方案 8 使 用 线程 池 的 代码 与 单线 程 Reactor 的 方案 5 相 比 变化 不 大 ， 
只 是 把 原来 onMessage() 中 涉及 计算 和 发 回响 应 的 部 分 抽出 来 做 成 一 个 
水 数 ， 然 后 交 给 ThreadPool 去 计算 。 记 住 方案 8 有 乱 序 返回 的 可 能 ， 客 
户 端 要 根据 id 来 匹配 响应 。 


$ diff server_basic.cc server_threadpool.cc -u 


--- Server_basic.cc 2012-04-20 20:19:56.000000000 +0800 
+++ Server_threadpool .cc 2012-06-10 22:15:02.000000000 +0800 
@@ -96,16 +100,7 @@ void onMessage(const TcpConnectionPtr& conn, 
if (puzzle.size() == implicit_cast<size_t>(kCells)) 
{ 


- string result = solveSudoku(puzzle); 
~ if (id.empty()) 
{ 


二 conn->send(result+"\r\n"); 


- } 
= else 
{ 
= conn->send(id+":"+result+"\r\n"); 
} 
+ threadPool_.run(boost::bind(&solve, conn, puzzle, id)); 


上. 
@@ -114,17 +109,40 ee 


static void solve(const TcpConnectionPtr& conn, 
const string& puzzle, 
const string& id) 


string result = solveSudoku(puzzle); 
if (id.empty()) 
{ 


} 


十 
十 
十 
十 
十 
十 
+ 
+ conn->send(result+"\r\n"); 
十 
十 Gls8 
* 7 
+ conn->send(id+":"+result+"\r\n"); 
% 对 
+ 】 
十 
EventLoopx loop_; 
TcpServer Server_; 
+ ThreadPool threadPool_; 
Timestamp startTime_; 


线程 池 的 另外 一 个 作用 是 执行 阻塞 操作 。 比 如 有 的 数据 库 的 客户 
端 只 提供 同步 访问 ， 那 么 可 以 把 数据 库 查询 放 到 线程 闻 中 ， 可 以 避免 
阻塞 IO 线程 ， 不 会 影响 其 他 客户 连接 ， 就 像 Java Servlet 2.x 的 做 法 一 
样 。 另 外 也 可 以 用 线程 池 来 调用 一 些 阻塞 的 IO 六 数 ， 例 如 
fsync(2)/fdatasync(2)， 这 两 个 函数 没有 非 阻 塞 的 版 本 >。 

如 果 IO 的 压力 比较 大 ， 一 个 Reactor 处 理 不 过 来 ， 可 以 试 试 方案 9， 
它 采 用 多 个 Reactor 来 分 担负 载 。 

方案 9 ”这 是 muduo 内 置 的 多 线程 方案 ， 也 是 Netty 内 置 的 多 线程 方 
案 。 这 种 方案 的 特点 是 one loop per thread， 有 一 个 main Reactor 负 责 
accept(2) 连 接 ， 然 后 把 连接 挂 在 某 个 sub Reactor 中 (muduo 采 用 round- 
robin 的 方式 来 选择 sub Reactor) ， 这 样 该 连接 的 所 有 操作 都 在 那个 sub 
Reactor 所 处 的 线程 中 完成 。 多 个 连接 可 能 被 分 派 到 多 个 线程 中 ， 以 充 
分 利用 CPU。 

muduo 采 用 的 是 固定 大 小 的 Reactor pool， 闻 子 的 大 小 通常 根据 CPU 
数目 确定 ， 也 就 是 说 线程 数 是 固定 的 ， 这 样 程序 的 总 体 处 理 能 力 不 会 
随 连 接 数 增加 而 下 降 。 另 外 ， 由 于 一 个 连接 完全 由 一 个 线程 管理 ， 那 
么 请 求 的 顺序 性 有 保证 ， 突 发 请 求 也 不 会 占 满 全 部 8 个 核 (如 果 需 要 优 
化 突 发 请 求 ， 可 以 考虑 方案 11) 。 这 种 方案 把 IO 分 派 给 多 个 线程 ， 防 
止 出 现 一 个 Reactor 的 处 理 能 力 饱 和 。 

与 方案 8 的 线程 闻 相 比 ， 方 案 9 减 少 了 进出 thread pool 的 两 次 上 下 文 
切换 ， 在 把 多 个 连接 分 散 到 多 个 Reactor 线 程 之 后 ， 小 规模 计算 可 以 在 
当前 IO 线程 完成 并 发 回 结果 ， 从 而 降低 响应 的 延迟 。 我 认为 这 是 一 个 
适应 性 很 强 的 多 线程 IO 模型 ， 因 此 把 它 作 为 muduo 的 默认 线程 模型 ( 见 
图 6-13) 。 
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图 6-13 


方案 9 代码 见 : examples/sudoku/server_multiloop.cc。 它 与 
server_basic.cc 的 区 别 很 小 ， 最 关键 的 只 有 一 行 代码 : 


server_.setThreadNum(numThreads); 


$ diff server_basic.cc server_multiloop.cc -up 

--- Server_basic.cc 2011-06-15 13:40:59.000000000 +0800 
+++ Server_multiloop.cc 2011-06-15 13:39:53.000000000 +0800 
@@ -21,19 +21,22 @@ class SudokuServer 


- SudokuServer(EventLoop* loop, const InetAddress& listenAddr) 
+ SudokuServer(EventLoop* loop, const InetAddress& listenAddr, int numThreads) 
: loop_(loop), 
server_(loop, listenAddr, "SudokuServer"), 
startTime_(Timestamp: :now()) 
{ 
server_.setConnectionCallback( 
boost: :bind(&SudokuServer: :onConnection, this, _1)); 
server_.setMessageCallback( 
boost::bind(&SudokuServer: :onMessage, this, _1, _2, _3)); 
+ server_.setThreadNum(numThreads); 


} 


方案 10 ”这 是 Nginx 的 内 置 方案 。 如 果 连 接 之 间 无 交互 ， 这 种 方案 
也 是 很 好 的 选择 。 工 作 进程 之 间 相 互 独立 ， 可 以 热 升级 。 

方案 11 ”把 方案 8 和 方案 9 混合 ， 既 使 用 多 个 Reactor 来 处 理 IO， 又 
使 用 线程 池 来 处 理 计算 。 这 种 方案 适合 晓 有 突 发 IO (利用 多 线程 处 理 
多 个 连接 上 的 IO) ， 又 有 突 发 计算 的 应 用 〈 利 用 线程 池 把 一 个 连接 上 
的 计算 任务 分 配给 多 个 线程 去 做 ) ， 见 图 6-14。 
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图 6-14 


这 种 方案 看 起 来 复杂 ， 其 实 写 起 来 很 简单 ， 只 要 把 方案 8 的 代码 加 
一 行 server_.setThreadNum(numThreads); 就 行 ， 这 里 就 不 举例 了 。 

一 个 程序 到 底 是 使 用 一 个 event loop 还 是 使 用 多 个 event loops 呢 ? 
ZeroMQ 的 手册 给 出 的 建议 是 >， 按照 每 千 兆 比特 每 秒 的 吞吐 量 配 一 个 
event loop 的 比例 来 设置 event loop 的 数目 ， 即 
muduo::TcpServer::setThreadNum0 的 人 参数。 依据 这 条 经 验 规 则 ， 在 编写 
运行 于 千 兆 以 太 网 上 的 网 络 程序 时 ， 用 一 个 event loop 就 足以 应 付 网 络 
IO。 如 果 程 序 本 身 没有 多 少 计算 量 ， 而 主要 瓶颈 在 网 络 带宽 ， 那 么 可 
以 按 这 条 规则 来 办 ， 只 用 一 个 event loop。 另 一 方面 ， 如 果 程 序 的 IO 带 
宽 较 小 ， 计 算 量 较 大 ， 而 且 对 延迟 不 敏感 ， 那 么 可 以 把 计算 放 到 thread 
pool 中 ， 也 可 以 只 用 一 个 event loop。 

值得 指出 的 是 ， 以 上 假定 了 TCP 连 接 是 同 质 的 ， 没 有 优先 级 之 分 ， 
我 们 看 重 的 是 服务 程序 的 总 吞吐 量 。 但 是 如 果 TCP 连 接 有 优先 级 之 分 ， 
那么 单个 event loop 可 能 不 适合 ， 正 确 的 做 法 是 把 高 优先 级 的 连接 用 单 
独 的 event loop 来 处 理 。 

在 muduo 中 ， 属 于 同一 个 event loop 的 连接 之 间 没 有 事件 优先 级 的 
差别 。 我 这 么 设计 的 原因 是 为 了 防止 优先 级 反 转 。 比 方 说 一 个 服务 程 
序 有 10 个 心跳 连接 ， 有 10 个 数据 请 求 连接 ， 都 归属 同一 个 event loop， 
我 们 认为 心跳 连接 有 较 高 的 优先 级 ， 心 跳 连 接 上 的 事件 应 该 优先 处 
理 。 但 是 由 于 事件 循环 的 特性 ， 如 果 数 据 请 求 连接 上 的 数据 先 于 心跳 
连接 到 达 〈 早 到 lms) ， 那 么 这 个 event loop 就 会 调用 相应 的 event 
handler 去 处 理 数据 请 求 ， 而 在 下 一 次 epoll_wait0 的 时 候 再 来 处 理 心 跳 事 
件 。 因 此 在 同一 个 event loop 中 区 分 连接 的 优先 级 并 不 能 达到 预想 的 效 
果 。 我 们 应 该 用 单独 的 event loop 来 管理 心跳 连接 ， 这 样 就 能 避免 数据 
连接 上 的 事件 阻塞 了 心跳 事件 ， 因 为 它们 分 属 不 同 的 线程 。 


结语 


我 在 83.3 曾 写 道 : 


总 结 起 来 ， 我 推荐 的 C++ 多 线程 服务 端 编程 模式 为 : one loop per 
thread 十 thread poolo 


'event loop 用 作 non-blocking IO 和 定时 器 。 
thread poo] 用 来 做 计算 ， 有 具体 可 以 是 任务 队列 或 生产 者 消费 者 队 
列 。 


当时 (2010 年 2 月 ) 写 这 篇 博客 时 我 还 说 : “以 这 种 方式 写 服 务 器 
程序 ， 需 要 一 个 优质 的 基于 Reactor 模 式 的 网 络 库 来 支撑 ， 我 只 用 过 in- 
house 的 产品 ， 无 从 比较 并 推荐 市 面 上 常见 的 C++ 网 络 库 ， 抱 歉 。” 

现在 有 了 muduo 网 络 库 ， 我 终于 能 够 用 具体 的 代码 示例 把 自己 的 思 
想 完 整地 表达 出 来 了 。 归 纳 一 下 x， 实 用 的 方案 有 5 种 ，muduo 直 接 支 
持 后 4 种 ， 见 表 6-2。 


表 6-2 
方案 名 二 向 网络 10 计算 任务 

2 thread-per-connection 1 个 线程 线程 在 网 络 线程 进行 
5 单线 程 Reactor 1 个 线程 在 连接 线程 进行 ”在 连接 线程 进行 
8 Reactor + 线程 池 1 个 线程 在 连接 线程 进行 C2 线程 
9 one loop per thread 1 个 线程 Cn 线程 在 网 络 线程 进行 
11 ”one loop per thread + 线程 池 ”1 个 线程 Ci 线程 C2 线程 

表 6-2 中 的 N 表 示 并 发 连接 数目 ，C; 和 C, 是 与 连接 数 无 关 、 与 CPU 

数目 有 关 的 常数 。 
我 再 用 银行 柜台 办 理 业 务 为 比喻 ， 简 述 各 种 模型 的 特点 。 银 行 有 


旋转 门 ， 办 理 业 务 的 客户 人 员 从 旋转 门 进 出 〈IO) ; 银行 也 有 柜台 ， 
客户 在 柜台 办 理 业务 (计算 ) 。 要 想 办 理 业 务 ， 客 户 要 先 通过 旋转 门 
进入 银行 ; 办 理 完 之 后 ， 客 户 要 再 次 通过 旋转 门 离开 银行 。 一 个 客户 
可 以 办 理 多 次 业务 ， 每 次 都 必须 从 旋转 门 进出 (TCP 长 连接 ) 。 另 外 ， 
旋转 门 一 次 只 允许 一 个 客户 通过 〈 无 论 进出 ) ， 因 为 read0/writeO 只 能 
同时 调用 其 中 一 个 。 


方案 5: 这 间 小 银行 有 一 个 旋转 门 、 一 个 柜台 ， 每 次 只 人 允许 一 名 客 
户 办 理 业 务 。 而 且 当 有 人 在 办 理 业 务 时 ， 旋 转 门 是 锁 住 的 (计算 和 IO 
在 同一 线程 ) 。 为 了 维持 工作 效率 ， 银 行 要 求 客户 应 该 尽快 办 理 业 
务 ， 最 好 不 要 在 取款 的 时 候 打 电话 去 问 家 里 人 密码 ， 也 不 要 在 通过 旋 
转 门 的 时 候 停 下 来 系 鞋 带 ， 这 都 会 阻塞 其 他 堵 在 门 外 的 客户 。 如 果 客 
户 很 少 ， 这 是 很 经 济 且 高 效 的 方案 ;但 是 如 果 场 地 较 大 (多核) ， 则 
这 种 布局 就 浪费 了 不 少 资源 ， 只 能 并 发 《concurrent) 不 能 并 行 
(parallel) 。 如 果 确 实 一 次 办 不 完 ， 应 该 离开 柜台 ， 到 门 外 等 着 ， 等 
银行 通知 再 来 继续 办 理 (分 阶段 回调 ) 。 

方案 8: 这 间 银 行 有 一 个 旋转 门 ， 一 个 或 多 个 柜台 。 银 行进 门 之 后 
有 一 个 队列 ， 客 户 在 这 里 排队 到 柜台 (线程 池 ) 办 理 业 务 。 即 在 单线 
程 Reactor 后 面 接 了 一 个 线程 闻 用 于 计算 ， 可 以 利用 多 核 。 旋 转 门 基本 
是 不 锁 的 ， 随 时 都 可 以 进出 。 但 是 排队 会 消耗 一 点 时 间 ， 相 比 之 下 ， 
方案 5 中 客户 一 进门 就 能 立刻 办 理 业 务 。 另 外 一 种 做 法 是 线程 池 里 的 每 
个 线程 有 上 自己 的 任务 队列 ， 而 不 是 整个 线程 池 共 用 一 个 任务 队列 。 这 
样 的 好 处 是 避免 全 局 队列 的 锁 争 用 ， 坏 处 是 计算 资源 有 可 能 分 配 不 平 
均 ， 降 低 并 行 度 。 

方案 9: 这 间 大 银行 相当 于 包含 方案 5 中 的 多 家 小 银行 ， 每 个 客户 
进 大 门 的 时 候 就 被 国定 分 配 到 某 一 间 小 银行 中 ， 他 的 业务 只 能 由 这 间 
小 银行 办 理 ， 他 每 次 都 要 进出 小 银行 的 旋转 门 。 但 总 体 来 看 ， 大 银行 
可 以 同时 服务 多 个 客户 。 这 时 同样 要 求 办 理 业 务 时 不 能 空 等 〈 阻 
塞 ) ， 否 则 会 影响 分 到 同一 间 小 银行 的 其 他 客户 。 而 且 必 要 的 时 候 可 
以 为 VIP 客 户 单独 开 一 间或 几 间 小 银行 ， 优 先 办 理 VIP 业 务 。 这 跟 方案 5 
不 同 ， 当 普通 客户 在 办 理 业务 的 时 候 ，VIP 客 户 也 只 能 在 门 外 等 着 ( 见 
图 6-11 的 右 图 ) 。 这 是 一 种 适应 性 很 强 的 方案 ， 也 是 muduo 原 生 的 多 线 
程 IO 模型 。 

方案 11 : 这 间 大 银行 有 多 个 旋转 门 ， 多 个 柜台 。 旋 转 门 和 柜台 之 
间 没 有 一 一 对 应 关系 ， 客 户 进 大 门 的 时 候 就 被 固定 分 配 到 某 一 旋转 门 
中 (奇怪 的 安排 ， 易 于 实现 线程 安全 的 IO， 见 84.6) ， 进 入 旋转 门 之 
后 ， 有 一 个 队列 ， 客 户 在 此 排队 到 柜台 办 理 业 务 。 这 种 方案 的 资源 利 


用 率 可 能 比方 案 9 更 高 ， 一 个 客户 不 会 被 同一 小 银行 的 其 他 客户 阻塞 ， 
但 延迟 也 比方 案 9 略 大 。 


注释 


http://blog.csdn.net/Solstice/archive/2010/03/10/5364096.aspx 

这 个 名 字 的 由 来 见 我 的 一 篇 访谈 : http://www.oschina.net/question/28 61182 。 

代码 中 没有 显 式 调 用 ， 而 是 在 L22 隐 式 调 用 。 

http://aur.archlinux.org/packages.php?lD=49251 

例如 Debian 5.0 Lenny、Ubuntu 8.04、CentOS 5 等 旧 的 发 行 版 。 

最 好 不 低 于 2.8 版 ，CentOS 6 自 带 的 2.6 版 也 能 用 ， 但 是 无 法 自动 识别 Protobuf 库 。 

核心 库 只 依赖 TR1， 示 例 代 码 用 到 了 其 他 Boost 库 。 

原因 是 在 分 布 式 系统 中 正确 安全 地 发 布 动态 库 的 成 本 很 高 ， 见 第 11 章 。 

注意 ， 目 前 muduo-protorpc 与 Ubuntu Linux 12.04 中 通过 apt-get 安 装 的 Protobuf 编 译 器 无 
， 请 从 源码 编译 安装 Protobuf 2.4.1。 

Signal 也 可 以 通过 signalfd(2) 融 入 EventLoop 中 ， 见 muduo-protorpc 中 的 zurg slave 例 


法 配 


医 n> IC Ice II II IN I~ 
ea 


http://www.cs.nott.ac.uk/~cah/G51ISS/Documents/NoSilverBullet.html 
这 两 个 中 文 术 语 有 其 他 译 法 ， 我 选择 了 一 个 电子 工程 师 熟 悉 的 说 法 。 
http://redmine.lighttpd.net/issues/show/2105 
http://download.lighttpd.net/lighttpd/security/lighttpd_sa 2010 01.txt 
http://zedshaw.com/essays/programmer _stats.html 
http://www.percona.com/files/presentations/VELOCITY2012-Beyond-the-Numbers.pdf 
http://gist.github.com/564985 
http://think-async.com/Asio/LinuxPerformancelmprovements 
http://libev.schmorp.de/bench.html 
recipes/pingpong/libevent/run_bench.sh 
http://lists.schmorp.de/pipermail/libev/20109q2/001041.html 
http://httpd.apache.org/docs/2.4/programs/ab.html 
http://redmine.lighttpd.net/projects/weighttp/wiki 
http://wiki.nginx.org/HttpEchoModule ， 配 置 文件 https://gist.github.com/1967026。 
http://www.zeromq.org/results:perf-howto 
http://blog.csdn.net/lanphaday/archive/2011/04/11/6316099.aspx 
http://blog.csdn.net/solstice/article/details/5950190 
http://blog.csdn.net/Solstice/archive/2008/02/15/2096209.aspx 
这 个 例子 参照 了 http://scotdoyle.com/python-epoll-howto.html#async-examples 。 
30 ”不 过 目前 Linux 内 核 的 实现 仍然 会 阻塞 其 他 线程 的 磁盘 IO， 见 
http://antirez.com/post/fsync-different-thread- useless.html 。 

31 http://wwwzeromq.org/area:faq#toc3 

32 ”此 表 参 考 了 《Characteristics of multithreading models for high-performance IO driven 


network applications》 一 文 (http://arxiv.org/ftp/arxiv/papers/0909/0909.4934.pdf ) 。 
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第 7 章 ”muduo 编 程 示例 


本 章 将 介绍 如 何 用 muduo 网 络 库 完成 常见 的 TCP 网 络 编程 任务 。 内 容 如 
下 : 


1. [UNP] 中 的 五 个 简单 协议 ， 包 括 echo、daytime、time、discard、 
chargen 等 。 

2. 文件 传输 ， 示 范 非 阻塞 TCP 网 络 程序 中 如 何 完 整地 发 送 数据 。 

3. Boost.Asio 中 的 示例 ， 包 括 timer2 人 6、chat 等 。chat 实 现 了 TCP 封 包 
与 拆 包 (codec) 。 

4. muduo Buffer class 的 设计 与 使 用 。 

5。. Protobuf 编 码 解码 器 (codec) 与 消息 分 发 器 (dispatcher) 。 

6. 限制 服务 器 的 最 大 并 发 连接 数 。 

7. Java Netty 中 的 示例 ， 包 括 discard、echo、uptime 等 ， 其 中 的 discard 
和 echo 带 流量 统计 功能 。 

8. 用 于 测试 两 台 机 器 的 往返 延迟 的 roundtrip。 

9. 用 timing wheel 跑 掉 空 内 连接 。 

10. 一 个 基于 TCP 的 应 用 层 广 播 hub。 

11. 云 风 的 串 并 转换 连接 服务 器 multiplexer， 及 其 自动 化 测试 。 

12. socks4a 代 理 服务 器 ， 包 括 简单 的 TCP 中 继 (relay) 。 

13. 一 个 提供 短 址 服务 的 httpd 服 务 器 。 

14. 与 其 他 库 的 集成 ， 包 括 UDNS、c-ares DNS、curl 等 等 。 


这 些 例子 都 比较 简单 ， 远 辑 不 复杂 ， 代 码 也 很 短 ， 适 合 摘 取 天 键 部 分 
放 到 博客 上 。 其 中 一 些 有 一 定 的 代表 性 与 针对 性 ， 比 如 “如 何 传 输 完整 的 文 
件 ” 估 计 是 网 络 编程 的 初学 者 经 常 遇 到 的 问题 。 请 注意 ，muduo 是 设计 来 开 
发 内 网 的 网 络 程序 ， 它 没有 做 任何 安全 方面 的 加 强 措施 ， 如 果 用 在 公 网 上 
可 能 会 受到 攻击 ， 在 后 面 的 例子 中 我 会 谈 到 这 一 点 。 


7.1 五 个 简单 TCP 示 例 


本 节 将 介绍 五 个 简单 TCP 网 络 服务 程序 ， 包 括 echo (RFC 862) 、 
discard (RFC 863) 、chargen (RFC 864) 、daytime (RFC 867) 、time 
(RFC 868) 这 五 个 协议 ， 以 及 time 协 议 的 客户 端 。 各 程序 的 协议 简介 如 
下 。 


-discard: 丢弃 所 有 收 到 的 数据 。 

daytime: 服务 闯 accept 连 接 之 后 ， 以 字符 串 形 式 发 送 当前 时 间 ， 然 后 
主动 断 开 连接 。 

time: 服务 端 accept 和 连接 之 后 ， 以 二 进 制 形 式 发 送 当前 时 间 (从 Epoch 
到 现在 的 秒 数 ) ， 然 后 主动 断 开 连接 ; 我 们 需要 一 个 客户 程序 来 把 收 到 的 
时 间 转 换 为 字符 串 。 

:echo; 回 显 服务 ， 把 收 到 的 数据 发 回 客户 端 。 

:chargen: 服务 端 accept 连 接 之 后 ， 不 停 地 发 送 测试 数据 。 


以 上 五 个 协议 使 用 不 同 的 端口 ， 可 以 放 到 同一 个 进程 中 实现 ， 且 不 必 
使 用 多 线程 。 完 整 的 代码 见 muduo/examples/simple 。 
discard 

discard 恐 怕 算 是 最 简单 的 长 连接 TCP 应 用 层 协 议 ， 它 只 需要 关注 “三 个 
半 事 件 ” 中 的 “消息 .数据 到 达 ” 事 件 ， 事 件 处 理 函 数 如 下 : 


examples/simple/discard/discard.cc 
33 void DiscardServer::onMessage(const TcpConnectionPtr& conn, 


34 Bufferx buf ， 
35 Timestamp time) 
36 { 


37 string msg(buf->retrieveAllAsString()); 
38 LOG_INFO << conn->name() << ”discards ”<< msg.size() 
39 << ”bytes received at ”<< time.toString(); 


examples/simple/discard/discard.cc 
与 前 面 此 处 的 echo 服 务 相 比 ， 除 了 省 略 namespace 外 ， 关 键 的 区 别 在 于 
少 了 L40: 将 收 到 的 数据 发 回 客户 端 。 
剩 下 的 都 是 例行公事 的 代码 ， 此 处 从 略 ， 读 者 可 对 比 参 考 echo 服 务 。 


daytime 


daytime 是 短 连 接 协议 ， 在 发 送 完 当 前 时 间 后 ， 由 服务 端 主动 断 开 连 
接 。 它 只 需要 关注 “三 个 半 事 件 ” 中 的 “连接 已 建立 ”事件 ， 事 件 处 理 函 数 如 
下 : 


examples/simple/daytime/daytime.cc 
27 void DaytimeServer::onConnection(const TcpConnectionPtr& conn) 


28 

29 LOG_INFO << "DaytimeServer - ”<< conn->peerAddress().toIpPort() << ”-> ” 
30 << Conn->1localAddress() .toIpPort() << ”is " 

31 << (conn->connected() ? "UP" : "DOWN"); 

32 if (conn->connected()) 

33 { 

34 conn->send(Timestamp: :now().toFormattedString() + "\n"); 

35 conn->shutdown() ; 

36 } 

:TB 


examples/simple/daytime/daytime.cc 


L34 发 送 时 间 字 符 串 ，L35 主 动 断 开 连 接 。 剩 下 的 都 是 例行公事 的 代 
码 ， 为 节省 篇 幅 ， 此 处 从 略 。 

用 netcat 扮 演 客户 端 ， 运 行 结果 如 下 : 
$ nc 127.0.0.1 2013 
26011-02-02 03:31:26.622647 ”# 服务 器 返回 的 时 间 字 符 串 ，UTC 时 区 


time 


time 协 议 与 daytime 极 为 类 似 ， 只 不 过 它 返 回 的 不 是 日 期 时 间 字 符 串 ， 
而 是 一 个 32-bit 整 数 ， 表 示 从 1970-01-01 00:00:00Z 到 现在 的 秒 数 。 当 然 ， 这 
个 协议 有 “2038 年 问题 ”。 服 务 端 只 需要 关注 “三 个 半 事 件 ” 中 的 “连接 已 建立 ” 
事件 ， 事 件 处 理 函 数 如 下 : 


examples/simple/time/time.cc 
27 void TimeServer::onConnection(const muduo: :net::TcpConnectionPtr& conn) 
28 { 


29 LOG_INFO << "TimeServer - ”<< conn->peerAddress() .toIpPort() << " -> ” 
30 << conn->localAddress().toIpPort() << ”is " 

31 << (conn->connected() ? "UP” : “DOWN”) ; 

32 if (conn->connected()) 

33 { 

34 time_t now = ::time(NULL); 

35 int32_t be32 = sockets::hostToNetwork32(static_cast<int32_t>(now)); 
36 conn->send(&be32, sizeof be32); 

37 conn->shutdown(); 

38 } 

39 } 


examples/simple/time/time.cc 


L34、L35 取 当前 时 间 并 转换 为 网 络 字 节 序 (Big Endian) ，L36 发 送 32- 
bit 整 数 ，L37 主 动 断 开 连 接 。 剩 下 的 都 是 例行公事 的 代码 ， 为 节省 篇 幅 ， 此 
处 从 略 。 

用 netcat 扮 演 客 户 端 ， 并 用 hexdump 来 打印 二 进 制 | 数据 ， 运 行 结果 如 
人 下: 


$ nc 127.0.0.1 2037 | hexdump -C 
00000000 4d 48 d@ d5 IMHBO | 


time 客 户 端 
因为 time 服 务 端 发 送 的 是 二 进 制 数 据 ， 不 便 直接 阅读 ， 我 们 编写 一 个 客 


户 端 来 解析 并 打印 收 到 的 4 个 字 节 数据 。 这 个 程序 只 需要 关注 “三 个 半 事 件 ” 
中 的 “消息 了 数据 到 达 ” 事 件 ， 事 件 处 理 阅 数 如 下 : 


- - examples/simple/timeclient/timeclient.cc 
53 void onMessage(const TcpConnectionPtr& conn, Buffer* buf, Timestamp receiveTime) 


{ 
55 if (buf->readableBytes() >= sizeof(int32_t)) 


56 { 

57 const voidx data = buf->peek(); 

58 int32_t be32 = *static_cast<const int32_t*>(data); 

59 buf->retrieve(sizeof(int32_t)); 

60 time_t time = sockets::networkToHost32(be32); 

61 Timestamp ts(time * Timestamp::kMicroSecondsPerSecond); 

62 LOG_INFO << "Server time = ”<< time << ", " << ts.toFormattedString(); 
63 } 

64 else 

65 

66 LOG_INFO << conn->name() << ”no enough data ”<< buf->readableBytes() 
67 << "at ”<< receiveTime.toFormattedString(); 

68 } 

69 } 


examples/simple/timeclient/timeclient.cc 


注意 其 中 考虑 到 了 如 果 数 据 没 有 一 次 性 收 全 ， 已 经 收 到 的 数据 会 累积 
在 Buffer 里 (在 else 分 支 里 没有 调用 Buffer::retrieve* 系 列国 数 ) ， 以 等 待 后 续 
数据 到 达 ， 程 序 也 不 会 阻塞 。 这 样 即便 服务 器 一 个 字 节 一 个 字 节 地 发 送 数 
据 ， 代 码 还 是 能 正常 工作 ， 这 也 是 非 阻塞 网 络 编程 必须 在 用 户 态 使 用 接收 
缓冲 的 主要 原因 。 

这 是 我 们 第 一 次 用 到 TcpClient class， 完 整 的 代码 如 下 : 


examples/simple/timeclient/timeclient.cc 
17 class TimeClient : boost::noncopyable 


18 区 

19 public: 

20 TimeClient(EventLoop* loop, const InetAddress& serverAddr) 
21 : loop_(loop), 

22 client_(loop, serverAddr, "TimeClient") 

23 { 

24 client_.setConnectionCallback( 

25 boost::bind(&TimeClient: :onConnection, this, _1)); 
26 client_.setMessageCallback( 

27 boost::bind(&TimeClient: :onMessage, this, _1, _2, _3)); 
28 // client_.enableRetry(); 

29 时 

30 

31 void connect() 

32 

33 client_.connect(); 

34 } 

35 

36 private: 

37 


38 EventLoopx loop_; 
39 TcpClient client_; 


40 

41 void onConnection(const TcpConnectionPtr& conn) 

42 

43 LOG_INFO << conn->localAddress() .toIpPort() << ”-> "” 
44 << Conn->peerAddress() .toIpPort() << ”is ” 
45 << (conn->connected() ? “UP”: "DOWN"); 

46 

47 if (!conn->connected()) 

48 

49 loop_->quit(); 

50 

51 } 


以 上 L49 表 示 如 果 连 接 断 开 ， 就 退出 事件 循环 (L82) ， 程 序 也 就 终止 


72 int main(int argc，charx argv[]) 

1 涝 

74 LOG_INFO << "pid = ”<< getpid(); 
75 if (argc > 1) 


76 { 

77 EventLoop loop; 

78 InetAddress serverAddr(argv[1], 2037); 

79 

80 TimeClient timeClient(&]loop, serverAddr); 
81 timeClient. connect(); 

82 loop. lo0p(); 

83 } 

84 else 


{ 
86 printf("Usage: %s host_ip\n”, argv[0]); 
87 } 
88 } 


examples/simple/timeclient/timeclient.cc 


注意 TcpConnection 对 象 表 示 “ 一 次 ”TCP 连 接 ， 连 接 断 开 之 后 不 能 重建 。 
TcpClient 重 试 之 后 新 建 的 连接 会 是 另 一 个 TecpConnection 对 象 。 
程序 的 运行 结果 如 下 (有 折 行 ) ， 假 设 time server 运 行 在 本 机 : 


$ ./simple_timeclient 127.0.0.1 
2011-02-02 04:10:35.181717 4296 INFO pid = 4296 - timeclient.cc:71 
2011-02-02 04:10:35.183668 4296 INFO TcpClient: :connect[TimeClient] - 

connecting to 127.0.0.1:2037 - TcpClient.cc:60 
2011-02-02 04:10:35.185178 4296 INFO 127.0.0.1:40960 -> 127.0.0.1:2037 

is UP - timeclient.cc:39 
2011-02-02 04:10:35.185279 4296 INFO Server time = 1296619835， 

2011-02-02 04:10:35.000000 - timeclient.cc:56 
2011-02-02 04:10:35.185354 4296 INFO 127.0.0.1:40960 -> 127.0.0.1:2037 

is DOWN - timeclient.cc:39 


echo 


前 面 几 个 协议 都 是 单 向 接收 或 发 送 数据 ，echo 是 我 们 遇 到 的 第 一 个 双 
向 的 协议 : 服务 端 把 客户 端 发 过 来 的 数据 原封 不 动 地 传 回去 。 它 只 需要 关 
注 “ 三 个 半 事 件 ” 中 的 “消息 一 数据 到 达 ” 事 件 ， 事 件 处 理 永 数 已 在 此 处 列 
出 ， 这 里 复制 一 遍 。 


examples/simple/echo/echo.cc 
33 void EchoServer::onMessage(const muduo: :net: :TcpConnectionPtr& conn, 


34 muduo: :net: :Buffer* buf, 
35 muduo: :Timestamp time) 
36 { 


37 muduo: :string msg(buf->retrieveAllAsString()); 
38 LOG_INFO << conn->name() << ”echo ”<< msg.size() << " bytes, " 


39 << "data received at ”<< time.toString(); 
40 conn->send(msg); 
41 } 


examples/simple/echo/echo.cc 


这 上段 代码 实现 的 不 是 行 回 显 (line echo) 服务 ， 而 是 有 一 点 数据 就 发 送 
一 点 数据 。 这 样 可 以 避免 客户 端 恶 意 地 不 发 送 换行 字符 ， 而 服务 端 又 必须 
缓存 已 经 收 到 的 数据 ， 导 致 服务 器 内 存 暴涨 。 但 这 个 程序 还 是 有 一 个 安全 
漏洞 ， 即 如 果 客 户 端 故 意 不 断 发 送 数 据 ， 但 从 不 接收 ， 那 么 服务 端的 发 送 
缓冲 区 会 一 直 堆 积 ， 导 致 内 存 暴涨 。 解 决 办 法 可 以 参考 下 面 的 chargen 协 
议 ， 或 者 在 发 送 缓 冲 区 累积 到 一 定 大 小 时 主动 断 开 连接 。 一 般 来 说 ， 非 阻 
塞 网 络 编程 中 正确 处 理 数据 发 送 比 接收 数据 要 困难 ， 因 为 要 应 对 对 方 接收 
缓慢 的 情况 。 

练习 1: 修改 EchoServer::onMessage()， 实 现 大 小 写 互 换 。 

练习 2: 修改 EchoServer::onMessage()， 实 现 ROT13 加 密 :。 


chargen 


Chargen 协 议 很 特殊 ， 它 只 发 送 数 据 ， 不 接收 数据 。 而 且 ， 它 发 送 数 据 
的 速度 不 能 快 过 客户 端 接收 的 速度 ， 因 此 需要 关注 “三 个 半 事 件 ” 中 的 半 个 
“消息 .一 数据 发 送 完毕 事件 (onWriteComplete) ， 事 件 处 理 函 数 如 下 : 


examples/simple/chargen/chargen.cc 
49 void ChargenServer::onConnection(const TcpConnectionPtr& conn) 
50 苹 


51 LOG_INFO << “ChargenServer - ”<< conn->peerAddress() .toIpPort() << " ->" 
52 << conn->localAddress().toIpPort() << ”is " 

53 << (conn->connected() ? "UP”: "DOWN"); 

54 if (conn->connected()) 

55 { 

56 conn->setTcpNoDelay (true); 

57 conn->send(message_) ; 

58 } 

59 } 


61 void ChargenServer::onMessage(const TcpConnectionPtr& conn, 


62 Buffer* buf ， 
63 Timestamp time) 
64 { 


65 string msg(buf->retrieveAllAsString()); 
66 LOG_INFO << conn->name() << " discards ”<< msg.size() 
67 << " bytes received at ”<< time.toString(); 


70 void ChargenServer::onWriteComplete(const TcpConnectionPtr& conn) 


72 transferred_ += message_.Size(); 
73 Conn->Ssend(message_) ; 
74 } 
examples/simple/chargen/chargen.cc 


L57 在 连接 建立 时 发 生 第 一 次 数据 ; 上 73 继 续 发 送 数据 。 剩 下 的 都 是 例 
行 公事 的 代码 ， 为 节省 篇 幅 ， 此 处 从 略 。 

完整 的 chargen 服 务 端 还 带 流量 统计 功能 ， 用 到 了 定时 器 ， 我 们 会 在 
87.8 介 绍 定时 器 的 使 用 ， 到 时 候 再 回头 来 看 相关 代码 。 

用 netcat 扮 演 客户 端 ， 运 行 结果 如 下 : 


$ nc localhost 2019 | head 

1"#$%8' ()x+,—./0123456789: ;<=>?GABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^ “abcdefgh 
"#$%& '()x*+,-.V90123456789: ;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^_“abcdefghi 
#$%& '()x*+,-.V90123456789: ;<=>?GQABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^ abcdefghi] 
$%&'()*+,-./0123456789: ;<=>?G@ABCDEFGHIJKLMNOPQORSTUVWXYZ[\]^ abcdefghijk 
%&'()x*+,-.V0123456789: ;<=>?GABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^ “abcdefghijkl 
&'()x*+,-./V0123456789: ;<=>?G@ABCDEFGHIJKLMNOPQORSTUVWXYZ[\]^ abcdefghijklm 
"()x+,-./V0123456789: ;<=>?G@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^ abcdefghijklmn 
()*+,-./0123456789: ;<=>?@ABCDEFGHIJKLMNOPQRSTUVYWXYZ[\]^_“abcdefghijklmno 
)*+,-./0123456789: ;<=>?GQABCDEFGHIJKLMNOPQRSTUYWXYZ[\]^ abcdefghijklmnop 
*+,-./0123456789: ;<=>?@ABCDEFGHI JKLMNOPQRSTUVWXYZ[\]^_“abcdefghijklmnopqg 


五 合 一 


前 面 五 个 程序 都 用 到 了 EventLoop。 这 其 实 是 个 Reactor， 用 于 注册 和 分 
发 IO 事件 。muduo 遵 循 one loop per thread 模 型 ， 多 个 服务 端 (TcpServer) 和 
客户 端 (TcpClient) 可 以 共享 同一 个 EventLoop， 也 可 以 分 配 到 多 个 
EventLoop 上 以 发 挥 多 核 多 线程 的 好 处 。 这 里 我 们 把 五 个 服务 端 用 同一 个 
EventLoop 跑 起 来 ， 程 序 还 是 单线 程 的 ， 功 能 却 强大 了 很 多 : 


examples/simple/allinone/allinone.cc 


13 int main() 

14 { 

15 LOG_INFO << "pid = ”<< getpid(); 

16 EventLoop loop; // one loop shared by multiple servers 


18 ChargenServer chargenServer(&loop，InetAddress(2019)) ; 
19 chargenServer .start(); 


21 DaytimeServer daytimeServer(&loop, InetAddress(2013)); 
22 daytimeServer.start(); 


24 DiscardServer discardServer(&]loop, InetAddress(2009)); 
25 discardServer.start(); 


27 EchoServer echoServer(&loop, InetAddress(2807)); 
28 echoServer .start(); 


30 TimeServer timeServer(&loop, InetAddress(2037)); 
31 timeServer.start(); 


33 loop.loop(); 


examples/simple/allinone/allinone.cc 


这 个 例子 充分 展示 了 Reactor 模 式 复 用 线程 的 能 力 ， 计 一 个 单线 程 程序 
同时 具备 多 个 网 络 服务 功能 。 一 个 容易 想到 的 例子 是 httpd 同 时 侦 听 80 端 口 
和 443 端 口 ， 另 一 个 例子 是 程序 中 有 多 个 TcpClient， 分 别 和 数据 库 、Redis、 
Sudoku Solver 等 后 台 服 务 打交道 。 对 于 初次 接触 这 种 编程 模型 的 读者 ， 值 
得 跟踪 代码 运行 的 详细 过 程 ， 弄 清楚 每 个 事件 每 个 回调 发 生 的 时 机 与 条 
件 。 

以 上 几 个 协议 的 消息 格式 都 非常 简单 ， 没 有 涉及 TCP 网 络 编程 中 常见 的 
分 包 处 理 ， 在 后 文 87.3 讲 Boost.Asio 的 聊天 服务 器 时 我 们 再 来 讨论 这 个 问 


题 。 


7.2 文件 传输 


本 节 用 发 送 文 件 的 例子 来 说 明 TepConnection::send0 的 使 用 。 到 目前 为 
止 ， 我 们 用 到 了 TcpConnection::send() 的 两 个 重 载 ， 分 别 是 send(const 
string&): 和 send(const void* message, size_t len)i。 

TcpConnection 目 前 提供 了 三 个 send0 重 载 函 数 ， 原 型 如 下 。 


muduo/net/TcpConnection.h 


WR 
/// TCP connection, for both client and server usage. 
/// 
class TcpConnection : boost::noncopyable, 
public boost: :enable_shared_from_this<TcpConnection> 
{ 
public: 


void send(const voidx message, size_t len); 

void send(const StringPiece& message); 

void send(Bufferx message); // this one might swap data without copying 
// void send(Buffer&& message); // C++11 

// void send(string&& message); // C++11 


muduo/net/TcpConnection.h 


在 非 阻 塞 网 络 编程 中 ， 发 送 消 息 通常 是 由 网 络 库 完成 的 ， 用 户 代码 不 
会 直接 调用 write(2) 或 send(2) 等 系统 调用 。 原 因 见 此 处 “TcpConnection 必 须 
要 有 output buffer”。 在 使 用 TcpConnection::send() 时 值得 注意 的 有 几 点 : 


“send() 的 返回 类 型 是 void， 意 味 着 用 户 不 必 关 心 调用 send(O) 时 成 功 发 送 
了 多 少 字 节 ，muduo 库 会 保证 把 数据 发 送 给 对 方 。 

send() 是 非 阻塞 的 。 意 味 着 客户 代码 只 管 把 一 条 消息 准备 好 ， 调 用 
send() 来 发 送 ， 即 便 TCP 的 发 送 窗口 满 了 ， 也 绝对 不 会 阻塞 当前 调用 线程 。 

send() 是 线程 安全 、 原 子 的 。 多 个 线程 可 以 同时 调用 send()， 消 息 之 间 
不 会 混 痉 或 交织 。 但 是 多 个 线程 同时 发 送 的 消息 (s) 的 先后 顺序 是 不 确定 
的 ，muduo 只 能 保证 每 个 消息 本 身 的 完整 性 {。 另 外 ，send() 在 多 线程 下 仍然 
是 非 阻塞 的 。 

“send(const void* message, size_t len) 这 个 重 载 最 平淡 无 奇 ， 可 以 发 送 任 
意 字 节 序列 。 

“send(const StringPiece& message) 这 个 重 载 可 以 发 送 std::string 和 const 
char* ， 其 中 StringPieces 是 Google 发 明 的 专门 用 于 传递 字符 串 参 数 的 class， 
这 样 程序 里 就 不 必 为 const char* 和 const std::string& 提 供 两 份 重 载 了 。 


"send(Buffer*) 有 点 特殊 ， 它 以 指针 为 参数 ， 而 不 是 常见 的 const 引 用 ， 
因为 函数 中 可 能 用 Buffer::swap(0 来 高 效 地 交换 数据 ， 避 免 内 存 拷贝 *， 起 到 
类 似 C++ 右 值 引 用 的 效果 。 

.如 果 将 来 支持 C++11， 那 么 可 以 增加 对 右 值 引用 的 重 载 ， 这 样 可 以 用 
move 语 义 来 避免 内 存 拷贝 。 


下 面 我 们 来 实现 一 个 发 送 文件 的 命令 行 小 工具 ， 这 个 工具 的 协议 很 简 
单 ， 在 启动 时 通过 命令 行 参 数 指定 要 发 送 的 文件 ， 然 后 在 2021 端 口 侦 听 ， 
每 当 有 新 连接 进来 ， 就 把 文件 内 容 完整 地 发 送 给 对 方 。 

如 果 不 考 虑 并 发 ， 那 么 这 个 功能 用 netcat 加 重 定向 就 能 实现 。 这 里 展示 
的 版 本 更 加 健壮 ， 比 方 说 发 送 100MB 的 文件 ， 支 持 上 万 个 并 发 客户 连接 ; 
内 存 消 耗 只 与 并 发 连接 数 有 关 ， 跟 文件 大 小 无 关 ; 任何 连接 可 以 在 任何 时 
候 断 开 ， 程 序 不 会 有 内 存 泄漏 或 骨 冲 :。 

我 一 共 写 了 三 个 版 本 ， 代 码 位 于 examples/filetransfer 。 


1. 一 次 性 把 文件 读 入 内 存 ， 一 次 性 调用 send(const string&o) 发 送 完毕 。 
这 个 版 本 满足 除了 “内 存 消耗 只 与 并 发 连接 数 有 关 ， 跟 文件 大 小 无 关 ” 之 外 
的 健壮 性 要 求 。 

2. 一 块 一 块 地 发 送 文 件 ， 减 少 内 存 使 用 ， 用 到 了 
WriteCompleteCallback。 这 个 版 本 满足 了 上 述 全 部 健壮 性 要 求 。 

3. 同 2， 但 是 采用 shared_ptr 来 管理 FILE* ， 避 免 手 动 调用 ::fclose(3)。 


版 本 一 


在 建立 好 连接 之 后 ， 把 文件 的 全 部 内 容 读 入 一 个 string， 一 次 性 调用 
TcpConnection::send0 发 送 。 不 用 担心 文件 发 送 不 完整 。 也 不 用 担心 send0 之 
后 立刻 shutdown0O 会 有 什么 问题 ， 见 下 一 节 的 说 明 。 


const char* g_file = NULL; 


string readFile(const char* filename); 


void onConnection(const TcpConnectionPtr& conn) 


examples/filetransfer/download.cc 


// read file content to string 


LOG_INFO << "FileServer - ”<< conn->peerAddress() .toIpPort() << " -> " 


<< conn->localAddress().toIpPort() << ”is " 


<< (conn->connected() ? "UP”: "DOWN"); 


if (conn->connected()) 


{ 


} 


LOG_INFO << “FileServer - Sending file ”<< g_file 


<< ”to ”<< conn->peerAddress().toIpPort(); 


string fileContent = readFile(g_file); 
conn->send(fileContent); 
conn->shutdown(); 

LOG_INFO << “FileServer - done”"; 


int main(int argc, char* argv[]) 


{ 


} 


LOG_INFO << "pid = ”<< getpid(); 
if (argc > 1) 


{ 


} 


g_file = argv[1]; 


EventLoop loop; 

InetAddress listenAddr (2021); 

TcpServer server(&loop, listenAddr, "FileServer"); 
server.setConnectionCallback(onConnection); 
server.start(); 

loop. 100p(); 


else 


} 


fprintf(stderr, "Usage: %s file_for_downloading\n”", argv[0]); 


examples/filetransfer/download.cc 


注意 每 次 建立 连接 的 时 候 我 们 都 去 重新 读 一 遍 文件 ， 这 是 考虑 到 文件 
有 可 能 被 其 他 程序 修改 。 如 果 文 件 是 immutable 的 ， 整 个 程序 就 可 以 共享 同 
一 个 fileContent 对 象 。 
这 个 版 本 有 一 个 明显 的 缺陷 ， 即 内 存 消耗 与 〈 并 发 连接 数 x 文 件 大 小 ) 
成 正比 ， 文 件 越 大 内 存 消 耗 越 多 ， 如 果 文 件 大 小 上 GB， 那 几乎 就 是 灾难 
了 。 只 需要 建立 少量 并 发 连接 就 能 把 服务 器 的 内 存 耗 尽 ， 因 此 我 们 有 了 版 
本 二 。 


版 本 二 


为 了 解决 版 本 一 占用 内 存 过 多 的 问题 ， 我 们 采用 流水 线 的 思路 ， 当 新 
建 连接 时 ， 先 发 送 文件 的 前 64KiB 数 据 ， 等 这 块 数据 发 送 完 毕 时 再 继续 发 送 
下 64KiB 数 据 ， 如 此 往复 直到 文件 内 容 全 部 发 送 完 毕 。 代 码 中 使 用 了 
TcpConnection::setContext() 和 getContext() 来 保存 TcpConnection 的 用 户 上 下 文 
(这 里 是 FILE*) ， 因 此 不 必 使 用 额外 的 std::map<TcpConnectionPtr, FILE*> 
来 记 住 每 个 连接 的 当前 文件 位 置 。 


examples/filetransfer/download2.cc 


15 const int kBufSize = 64*1024; 

16 const char* g_file = NULL; 

17 

18 void onConnection(const TcpConnectionPtr& conn) 

19 { 

20 LOG_INFO << "FileServer - ”<< conn->peerAddress().toIpPort() << ”-> ” 
21 << conn->localAddress().toIpPort() << ”is " 
22 << (conn->connected() ? "UP”: "DOWN"); 

23 if (conn->connected()) 

24 

25 LOG_INFO << "FileServer - Sending file ”<< g_file 

26 << ”to ”<< conn->peerAddress().toIpPort(); 
27 conn->setHighWaterMarkCallback(onHighWaterMark, kBufSize+]1); 
28 

29 FILE* fp = ::fopen(g_file, "rb”); 

30 i {fpy 

31 { 

32 conn->setContext (fp); 

33 char buf[kBufSize]; 

34 size_t nread = ::fread(buf, 1, sizeof buf, fp); 

35 conn->send(buf, nread); 

36 } 

37 else 

38 { 

39 conn->shutdown(); 

40 LOG_INFO << "FileServer - no such file"; 

41 } 

42 } 

43 else 

44 

45 if (!conn->getContext().empty()) 

46 

47 FILE* fp = boost::any_cast<FILE*>(conn->getContext() ) ; 
48 if (fp) 

49 { 

50 ::fclose(fp); 

51 } 

52 } 

53 } 


在 onWriteComplete0) 回 调 函 数 中 读 取 下 一 块 文件 数据 ， 继 续 发 送 。 


56 void onWriteComplete(const TcpConnectionPtr& conn) 

57 { 

58 FILEx fp = boost::any_cast<FILE*>(conn->getContext()); 
59 char buf[kBufSize]; 

60 size_t nread = ::fread(buf, 1, sizeof buf, fp); 

61 if (nread > 0) 


63 conn->send(buf, nread); 
64 } 
65 else 


{ 
67 ::fclose(fp); 
68 fp = NULL; 


69 conn->setContext (fp); 

70 conn->shutdown(); 

71 LOG_INFO << "FileServer - done”": 
72 } 

73 } 


examples/filetransfer/download2.cc 


注意 每 次 建立 连接 的 时 候 我 们 都 去 重新 打开 那个 文件 ， 使 得 程序 中 文 
件 描 述 符 的 数量 翻 倍 (每 个 连接 占 一 个 socket fd 和 一 个 file fd) ， 这 是 考虑 
到 文件 有 可 能 被 其 他 程序 修改 。 如 果 文 件 是 immutable 的 ， 一 种 改进 措施 
是 : 整个 程序 可 以 共享 同一 个 文件 描述 符 ， 然 后 每 个 连接 记 住 自己 当前 的 
偏 移 量 ， 在 onWriteComplete0 回 调 函 数 里 用 pread(2) 来 读 取 数 气 。 

这 个 版 本 也 存在 一 个 问题 ， 如 果 客 户 端 故意 只 发 起 连接 ， 不 接收 数 
据 ， 那 么 要 么 把 服务 器 进程 的 文件 描述 符 耗 尽 ， 要 么 占用 很 多 服务 端 内 存 

(因为 每 个 连接 有 64KiB 的 发 送 缓冲 区 ) 。 解 决 办 法 可 参考 后 文 37.7“ 限 制服 
务 器 的 最 大 并 发 连接 数 " 和 87.10“ 用 timing wheel 踢 掉 空 闪 连接 *"。 必 须 说 明 的 
是 ，muduo 并 不 是 设计 来 编写 面向 公 网 的 网 络 服务 程序 ， 这 种 服务 程序 需 
在 安全 性 方面 下 很 多 工夫 ， 我 个 人 对 此 不 在 行 ， 我 更 关心 实现 内 网 (不 一 
定 是 局 域 网 ) 的 高 效 服务 程序 。 


版 本 三 


用 shared_ptr 的 custom deleter 来 减轻 资源 管理 负担 ， 使 得 FILE* 的 生命 期 
和 TcpConnection 一 样 长 ， 代 码 也 更 简单 了 。 


examples/filetransfer/download3.cc 
$ diff download2.cc download3.cc -U3 
const int kBufSize = 64x1024; 
const char* g_file = NULL; 
+typedef boost::shared_ptr<FILE> FilePtr; 


void onConnection(const TcpConnectionPtr& conn) 
@@ -29,7 +32,8 @@ 
FILE* fp = ::fopen(g_file, "rb"); 
if (fp) 
{ 


= conn->setContext (fp); 
FilePtr ctxtfp: efelose)s 
和 conn->setContext(ctx); 
char buf[kBufSize]; 
size_t nread = ::fread(buf, 1, sizeof buf, fp); 
conn->send(buf, nread); 
@@ -40,33 +44,19 ee 
LOG_INFO << "FileServer - no such file”; 
} 
} 


- else 


十 


a if (!conn->getContext().empty()) 


< FILE* fp = boost::any_cast<FILE*>(conn->getContext()); 


= if (fp) 

a { 

= ::fclose(fp); 
3 } 

后 有 


志 于 
} 


void onWriteComplete(const TcpConnectionPtr& conn) 
{ 
- FILE* fp = boost::any_cast<FILE*>(conn->getContext()); 
+ Cconst FilePtr& fp = boost::any_cast<const FilePtr&>(conn->getContext()); 
char bufLkBufSize]; 


- Size_t nread = ::fread(buf, 1, sizeof buf，fp); 
+ Size_t nread = ::fread(buf, 1, sizeof buf, get_pointer(fp)); 
if (nread > 0) 
€ 
conn->send(buf, nread); 
} 
else 


{ 
* ::fclose(fp); 
- fp = NULL; 
认 conn->setContext (fp); 
conn->shutdown(); 
LOG_INFO << "FileServer - done"; 


examples/filetransfer/download3.cc 


以 上 代码 体现 了 现代 C++ 的 资源 管理 思路 ， 即 无 须 手 动 释放 资源 ， 而 是 
通过 将 资源 与 对 象 生命 期 绑 定 ， 在 对 象 析 构 的 时 候 自 动 释放 资源 ， 从 而 把 
资源 管理 转换 为 对 象 生命 期 管理 ， 而 后 者 是 早已 解决 了 的 问题 。 这 正 是 
C++ 最 重要 的 编程 技法 : RAII。 


为 什么 TcpConnection::shutdown() 没 有 直接 关闭 TCP 连 接 


我 曾经 收 到 一 位 网 友 的 来 信 :“ 在 simple 的 daytime 示 例 中 ， 服 务 端 主动 
关闭 时 调用 的 是 如 下 函数 序列 ， 这 不 是 只 是 关闭 了 连接 上 的 写 操 作 吗 ， 怎 
么 是 关闭 了 整个 连接 ? ” 


void DaytimeServer::onConnection(const muduo: :net::TcpConnectionPtr& conn) 


{ 


if (conn->connected()) 


{ 
conn->send(Timestamp: :now().toFormattedString() + "\n"); 
conn->shutdown(); ”// 调用 TcpConnection: :shutdown() 
} 
l 
void TcpConnection: :shutdown() 
{ 
if (state_ == kConnected) 
{ 
setState(kDisconnecting); 
// 调用 TcpConnection::shutdownInLoop() 
loop_->runInLoop(boost::bind(&TcpConnection: :shutdownInLoop, this)); 
} 
} 


void TcpConnection: :shutdownInLoop() 


{ 


loop_->assertInLoopThread(); 
if (!channel_->isWriting()) // 如 果 当 前 没有 发 送 数 据 


{ 
// we are not writing 
socket_->shutdownWrite(); // 调用 Socket::shutdownWrite() 
} 
} 
void Socket::shutdownWrite() 
{ 
sockets: :shutdownWrite(sockfd_); 
} 
void sockets::shutdownWrite(int sockfd) 
€ 
int ret = ::shutdown(sockfd, SHUT_WR); 
// 检查 错误 
} 


笔者 答复 如 下 : 

muduo TcpConnection 没 有 提供 close()， 而 只 提供 shutdown()， 这 么 做 是 
为 了 收发 数据 的 完整 性 。 

TCP 是 一 个 全 双 工 协议 ， 同 一 个 文件 描述 答 既 可 读 又 可 写 ， 
shutdownWrite() 关 闭 了 “ 写 ” 方 向 的 连接 ， 保 留 了 “ 读 ” 方 向 ， 这 称 为 TCP half- 
close。 如果 直 接 close(socket_fd)， 那 么 socket_fd 就 不 能 读 或 写 了 。 


用 shutdown 而 不 用 close 的 效果 是 ， 如 果 对 方 已 经 发 送 了 数据 ， 这 些 数 
据 还 “在 路 上 ”， 那 么 muduo 不 会 漏 收 这 些 数据 。 换 句 话说 ，muduo 在 TCP 这 
一 层面 解决 了 “ 当 你 打算 关闭 网 络 连 接 的 时 候 ， 如 何 得 知 对 方 是 否 发 了 一 些 
数据 而 你 还 没有 收 到 ? ”这 一 问题 。 当 然 ， 这 个 问题 也 可 以 在 上 面 的 协议 层 
解决 ， 双 方 商量 好 不 再 互 发 数据 ， 就 可 以 直接 断 开 连接 。 

也 就 是 说 muduo 把 < 主动 关闭 连接 ”这 件 事情 分 成 两 步 来 做 ， 如 果 要 主动 
关闭 连接 ， 它 会 先 关 本 地 “ 写 * 端 ， 等 对 方 关 闭 之 后 ， 再 关 本 地 “ 读 ” 端 。 

练习 : 阅读 人 代码， 回答 “如 果 被 动 关 闭 连 接 ，muduo 的 行为 如 何 ? ”: 

另外 ， 如 果 当 前 output buffer 里 还 有 数据 尚未 发 出 的 话 ，muduo 也 不 会 
立刻 调用 shutdownWrite， 而 是 等 到 数据 发 送 完毕 再 shutdown， 可 以 避免 对 
方 漏 收 数据 。 


muduo/net/TcpConnection.cc 
252 void TcpConnection::handleWrite() 


253 { 

254 1oop_->assertInLoopThread() ; 

255 if (channel_->isWriting()) 

256 { 

257 ssize_t n = sockets::write(channel_->fd(), J 
258 outputBuffer_.peek(), 

259 outputBuffer_.readableBytes()); 
260 if (n > 0) 

261 

262 outputBuffer_.retrieve(n); 

263 if (outputBuffer_.readableBytes() == 0) 

264 

265 channel_->disableWriting(); 

266 if (writeCompleteCallback_) 

267 

268 loop_->queueInLoop(boost::bind(writeCompleteCallback_,， 
269 shared_from_this())); 
270 } 

271 if (State_ == kDisconnecting) 

272 

273 shutdownInLoop(); 

274 

275 } 

276 } 

277 } 

2 入 


muduo/net/TcpConnection.cc 


muduo 这 种 关闭 连接 的 方式 对 对 方 也 有 要 求 ， 那 就 是 对 方 read() 到 0 字 节 
之 后 会 主动 关闭 连接 (无 论 shutdownWrite() 还 是 close0) ， 一 般 的 网 络 程序 
都 会 这 样 ， 不 是 什么 问题 。 当 然 ， 这 么 做 有 一 个 潜在 的 安全 漏洞 ， 万 一 对 
方 故意 不 关闭 连接 ， 那 么 muduo 的 连接 就 一 直 半 开 着 ， 消 耗 系统 资源 。 必 要 


时 可 以 调用 TcpConnection:: handleClose0 来 强行 关闭 连接 ， 这 需要 将 
handleCloseO 改 为 public 成 员 函 数 。 

完整 的 流程 见 图 7-1。 我 们 发 完了 数据 ， 于 是 shutdownWrite， 发 送 TCP 
FIN 分 节 ， 对 方 会 读 到 0 字 节 ， 然 后 对 方 通常 会 关闭 连接 。 这 样 muduo 会 读 
到 0 字 节 ， 然 后 muduo 关 闭 连接 。 《思考 题 : 在 shutdown() 之 后 ，muduo 回 调 
connection callback 的 时 间 间 隔 大 约 是 一 个 round-trip time， 为 什么 ? ) 


shutdown 


shutdownlnLoop() 一 


shutdownWrite() 


shutdown( 


FIN 


ACK, FIN 


handleClose() 区 


ConnectionCallback 


dtor & close 


~ _) 
图 7-1 


如 果 有 必要 ， 对 方 可 以 在 read0 返 回 0 之 后 继续 发 送 数据 ， 这 是 直接 利 
用 了 half-close TCP 连 接 。muduo 不 会 漏 收 这 些 数 据 。 

那么 muduo 什 么 时 候 真正 close socket 呢 ? 在 TcpConnection 对 象 析 构 的 时 
候 。TcpConnection 持 有 一 个 Socket 对 象 ，Socket 是 一 个 RAII handler， 它 的 析 
构 函 数 会 close(sockfd_)。 这 样 ， 如 果 发 生 TcepConnection 对 象 泄漏 ， 那 么 我 
们 从 /proc/pid/fd/ 就 能 找到 没有 关闭 的 文件 描述 符 ， 便 于 查 错 。 

muduo 在 read0 返 回 0 的 时 候 会 回调 connection callback，TcpServer 或 
TcpClient 把 TcpConnection 的 引用 计数 减 一 。 如 果 引 用 计数 降 到 零 ， 则 表明 


用 户 代码 也 不 持 有 TcpConnection， 它 就 会 析 构 了 。 

参考 : 《TCP/IP 详 解 》[TCPv1] 18.5 节 “TCP Half-Close”* 和 《UNIX 网 络 
编程 (第 3 版 )》[UNP] 6.6 节 “shutdownO 〇 函数 ”。 

在 网 络 编程 中 ， 应 用 程序 发 送 数据 往往 比 接收 数据 简单 〈 实 现 非 阻塞 
网 络 库 正 相反 ， 发 送 比 接收 难 ) ， 下 一 节 我 们 再 谈 接 收 并 解析 消息 的 要 
领 。 


7.3 ”Boost.Asio 的 聊天 服务 器 


本 节 将 介绍 一 个 与 Boost.Asio 的 示例 代码 中 的 聊天 服务 器 功能 类 似 的 网 
络 服 务 程序 ， 包 括 客户 端 与 服务 端的 muduo 实 现 。 这 个 例子 的 主要 目的 是 介 
绍 如 何 处 理 分 包 ， 并 初步 涉及 muduo 的 多 线程 功能 。 本 文 的 代码 位 于 
examples/asio/chat/ 。 


7.3.1 ”TCP 分 包 


8§7.1“ 五 个 简单 TCP 示 例 ” 中 处 理 的 协议 没有 涉及 分 包 ， 在 TCP 这 种 字 节 
流 协议 上 做 应 用 层 分 包 是 网 络 编程 的 基本 需求 。 分 包 指 的 是 在 发 生 一 个 消 
息 message) 或 一 帧 〈frame) 数据 时 ， 通 过 一 定 的 处 理 ， 让 接收 方 能 从 字 
节 流 中 识别 并 截取 〈 还 原 ) 出 一 个 个 消息 。“ 粘 包 问 题 ” 是 个 伪 问 题 。 

对 于 短 连 接 的 TCP 服 务 ， 分 包 不 是 一 个 问题 ， 只 要 发 送 方 主动 关闭 连 
接 ， 就 表示 一 条 消息 发 送 完 毕 ， 接 收 方 read() 返 回 9， 从 而 知道 消息 的 结 
尾 。 例 如 87.1 里 的 daytime 和 time 协 议 。 

对 于 长 连接 的 TCP 服 务 ， 分 包 有 四 种 方法 : 


1. 消息 长 度 固定 ， 比 如 muduo 的 roundtrip 示 例 就 采用 了 固定 的 16 字 节 
消息 。 

2. 使 用 特殊 的 字符 或 字符 串 作 为 消息 的 边界 ， 例 如 HTTP 协议 的 
headers 以 “rm 为 字段 的 分 隔 符 。 

3. 在 每 条 消息 的 头 部 加 一 个 长 度 字 7 段 ， 这 恐怕 是 最 常见 的 做 法 ， 本 文 
的 聊天 协议 也 采用 这 一 办 法 。 


4. 利用 消息 本 身 的 格式 来 分 包 ， 例 如 XML 格式 的 消息 中 <root>.… 
</root> 的 配对 ， 或 者 JSON 格 式 中 的 { … } 的 配对 。 解 析 这 种 消息 格式 通常 会 
用 到 状态 机 (state machine) 。 


在 后 文 的 代码 讲解 中 还 会 仔细 讨论 用 长 度 字 段 分 包 的 常见 陷阱 。 
聊天 服务 


本 节 实 现 的 聊天 服务 非常 简单 ， 由 服务 端 程序 和 客户 端 程序 组 成 ， 协 
议 如 下 : 


.服务 端 程序 在 某 个 端口 侦 听 (listen) 新 的 连接 。 

客户 端 向 服务 端 发 起 连接 。 

.连接 建立 之 后 ， 客 户 端 随时 准备 接收 服务 端的 消息 并 在 屏幕 上 显示 出 
来 。 

客户 端 接受 键盘 输入 ， 以 回 车 为 界 ， 把 消息 发 送 给 服务 端 。 

.服务 端 接收 到 消息 之 后 ， 依 次 发 送 给 每 个 连接 到 它 的 客户 端 ; 原来 发 
送 消息 的 客户 端 进程 也 会 收 到 这 条 消息 。 

.一 个 服务 端 进程 可 以 同时 服务 多 个 客户 端 进程 。 当 有 消息 到 达 服 务 端 
后 ， 每 个 客户 端 进程 都 会 收 到 同一 条 消息 ， 服 务 端 广播 发 送 消息 的 顺序 是 
任意 的 ， 不 一 定 哪个 客户 端 会 先 收 到 这 条 消息 。 

(可 选 ) 如 果 消 息 A 先 于 消息 B 到 达 服 务 端 ， 那 么 每 个 客户 端 都 会 先 收 
到 A 再 收 到 B。 


这 实际 上 是 一 个 简单 的 基于 TCP 的 应 用 层 广播 协议 ， 由 服务 端 负 责 把 消 
息 发 送 给 每 个 连接 到 它 的 客户 端 。 参 与 “聊天 ”的 既 可 以 是 人 ， 也 可 以 是 程 
序 。 在 后 文 $7.11 中 ， 我 将 介绍 一 个 稍微 复杂 一 点 的 例子 hub， 它 有 “聊天 室 ” 
的 功能 ， 客 户 端 可 以 注册 特定 的 topic(s)， 并 往 某 个 topic 发 送 消 息 ， 这 样 代 
码 更 有 意思 。 

我 在 “ 谈 一 谈 网 络 编程 学 习 经 验 ”( 附 录 A) 中 把 聊天 服务 列 为 “最 主要 
的 三 个 例子 ”之 一 ， 其 与 前 面 的 “五 个 简单 TCP 协 议 ” 不 同 ， 聊 天 服务 的 特点 
是 “连接 之 间 的 数据 有 交流 ， 从 a 连接 收 到 的 数据 要 发 给 b 连 接 。 这 样 对 连接 
管理 提出 了 更 高 的 要 求 : 如 何 用 一 个 程序 同时 人 处理 多 个 连接 ? fork()-per- 


connection 似 乎 是 不 行 的 。 如 何 防止 串 话 ? b 有 可 能 随时 断 开 连接 ， 而 新 建 
立 的 连接 c 可 能 恰好 复 用 了 b 的 文件 描述 符 ， 那 么 a 会 不 会 错误 地 把 消息 发 给 
c? ”muduo 的 这 个 例子 充分 展示 了 解决 以 上 问题 的 手法 。 


7.3.2 ”消息 格式 


本 聊天 服务 的 消息 格式 非常 简单 , “消息 ”本 身 是 一 个 字符 串 ， 每 条 消 
息 有 一 个 4 字 节 的 头 部 ， 以 网 络 序 存放 字符 串 的 长 度 。 消 息 之 间 没 有 间 阶 ， 
字符 串 也 不 要 求 以 \0' 结 尾 。 上 比方 说 有 两 条 消息 “hello”* 和 “chenshuo”， 那 么 打 
包 后 的 字 节 流 共 有 21 字 节 : 
CxO OxO0 Ox005 Bx SN ses Sh: “Ls “20° 
WX OXON OO 和 仙人 

打包 的 代码 ”这 段 代 码 把 string message 打 包 为 muduo::net::Buffer， 并 通 
过 conn 发 送 。 由 于 这 个 codec 的 代码 位 于 头 文件 中 ， 因 此 反复 出 现 了 


muduo::net namespaCeo 


examples/asio/chat/codec.h 


55 void send(muduo: :net: :TcpConnectionx conn， 

56 const muduo: :StringPiece& message) 

57 { 

58 muduo: :net: :Buffer buf ; 

59 buf .append(message.data(), message.size()); 

60 int32_t len = static_cast<int32_t>(message.size()); 

61 int32_t be32 = muduo: :net::sockets::hostToNetwork32(len); 
62 buf .prepend(&be32，sizeof be32) ; 

63 conn->send(&buf ) ; 

64 ， 


examples/asio/chat/codec.h 


muduo Buffer 有 一 个 很 好 的 功能 ， 它 在 头 部 预 留 了 8 个 字 节 的 空间 ， 这 
样 L62 的 prepend0) 操 作 就 不 需要 移动 已 有 的 数据 ， 效 率 较 高 。 

分 包 的 代码 ”解析 数据 往往 比 生成 数据 更 复杂 ， 分 包 、 打 包 也 不 例 
外 。 


examples/asio/chat/codec.h 


24 void onMessage(const muduo: :net: :TcpConnectionPtr& conn, 
25 muduo: :net::Bufferx buf, 
26 muduo: :Timestamp receiveTime) 


{ 
28 while (buf->readableBytes() >= kHeaderLen) // kHeaderLen == 4 
29 € 


30 // FIXME: use Buffer::peekInt32() 

31 const void* data = buf->peek(); 

32 int32_t be32 = *xstatic_cast<const int32_tx>(data); // SIGBUS 
33 const int32_t len = muduo: :net::sockets::networkToHost32(be32); 
34 if (len > 65536 || len < 0) 

35 和 

36 LOG_ERROR <<“Invalid length ”<< len; 

37 conn->shutdown(); // FIXME: disable reading 

38 break; 

39 

40 else if (buf->readableBytes() >= len + kHeaderLen) 
41 { 

42 buf->retrieve(kHeaderLen) ; 

43 muduo: :string message(buf->peek(), len); 

44 messageCallback_(conn, message, receiveTime); 

45 buf->retrieve(len); 

46 } 

47 else 

48 FE 

49 break; 

50 } 

51 } 

52 } 
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onMessage() 中 L43 构 造 完整 的 消息 ，L44 通 过 messageCallback_ 回 调用 户 
代码 。L32 有 潜在 的 问题 ， 在 某 些 不 支持 非 对 齐 内 存 访问 的 体系 结构 上 会 造 
成 SIGBUS core dump， 读 取消 息 长 度 应 该 改 用 Buffer::peekInt32()。 上 面 这 段 
代码 的 L28 用 了 while 循 环 来 反复 读 取 数据 ， 直 到 Buffer 中 的 数据 不 够 一 条 完 
整 的 消息 。 请 读者 思考 ， 如 果 换 成 if (buf->readableBytes() >= kHeaderLen) 会 
有 什么 后 果 。 

以 前 面 提 到 的 两 条 消息 的 字 节 流 为 例 : 

Ox00, 0x00, 0x00, 0x85,'h’,， 'e’, '1'’, ']', '0', 

Ox00, 0x00, 0x00, 0x08,， 'c', 'h’'’, 'e'’, 'n'’, SS h’', 'y', '0’ 

假设 数据 最 终 都 全 部 到 达 ，onMessage() 至 少 要 能 正确 处 理 以 下 各 种 数据 到 
达 的 次 序 ， 每 种 情况 下 messageCallback_ 都 应 该 被 调用 两 次 : 


1. 每 次 收 到 一 个 字 节 的 数据 ，onMessage() 被 调用 21 次 ，; 


2. 数据 分 两 次 到 达 ， 第 一 次 收 到 2 个 字 节 ， 不 足 消息 的 长 度 字 段 ; 

3. 数据 分 两 次 到 达 ， 第 一 次 收 到 4 个 字 节 ， 刚 好 够 长 度 字段 ， 但 是 没 
有 body; 

4. 数据 分 两 次 到 达 ， 第 一 次 收 到 8 个 字 节 ， 长 度 完整 ， 但 body 不 完 
束 妇 。 


JE) 

5。 数据 分 两 次 到 达 ， 第 一 次 收 到 9 个 字 节 ， 长 度 完整 ，body 也 完整 ; 

6. 数据 分 两 次 到 达 ， 第 一 次 收 到 10 个 字 节 ， 第 一 条 消息 的 长 度 完整 、 
body 也 完整 ， 第 二 条 消息 长 度 不 完整 ; 

7. 请 自行 移动 和 增加 分 割 点 ， 验 证 各 种 情况 ， 一 共有 超过 100 万 种 可 
能 (2 ) 。 

8. 数据 一 次 就 全 部 到 达 ， 这 时 必须 用 while 循 环 来 读 出 两 条 消息 ， 否 则 
消息 会 堆积 在 Buffer 中 。 


请 读者 验证 onMessage() 是 否 做 到 了 以 上 几 点 。 这 个 例子 充分 说 明了 
nonblocking read 必 须 和 input buffer 一 起 使 用 。 而 且 在 写 decoder 的 时 候 一 定 要 
在 收 到 完整 的 消息 (L40) 之 后 再 retrieve 整 条 消息 (L42 和 L45) ， 除 非 接 收 
方 使 用 复杂 的 状态 机 来 解码 。 


7.3.3 ” 编 解 码 器 LengthHeaderCodec 


有 人 评论 muduo 的 接收 缓冲 区 不 能 设置 回调 函数 的 触发 条 件 :， 确 实 如 
此 。 每 当 socket 可 读 时 ，muduo 的 TcpConnection 会 读 取 数据 并 存 入 input 
buffer， 然 后 回调 用 户 的 函数 。 不 过 ， 一 个 简单 的 间接 层 就 能 解决 问题 ， 让 
用 户 代 码 只 关心 “消息 到 达 ” 而 不 是 “数据 到 达 ”， 如 本 例 中 的 
LengthHeaderCodec 所 展示 的 那样 。 


examples/asio/chat/codec.h 
12 class LengthHeaderCodec : boost::noncopyable 


13 { 

14 public: 

15 typedef boost: :function<void (const muduo::net::TcpConnectionPtr&, 

16 const muduo::string& message, 

17 muduo: :Timestamp)> StringMessageCallback; 


19 explicit LengthHeaderCodec(const StringMessageCallback& cb) 
20 : messageCallback_(cb) 
21 { 

} 


onMessage() 和 send() 同 新 


66 private: 
67 StringMessageCallback messageCallback_; 
68 const static size_t kHeaderLen = sizeof(int32_t); 
69 }; 
examples/asio/chat/codec.h 


这 段 代 码 把 以 Buffer* 为 参数 的 MessageCallback 转 换 成 了 以 const string& 
为 参数 的 StringMessageCallback， 让 用 户 代 码 不 必 关 心 分 包 操作 ， 具 体 的 调 
用 时 序 图 见 此 处 图 7-29。 如 果 编 程 语言 相同 ， 客 户 端 和 服务 端 可 以 (应 
该 ) 共享 同一 个 codec， 这 样 既 节 省 工作 量 ， 又 避免 因 对 协议 理解 不 一 致 而 
导致 的 错误 。 


7.3.4 ”服务 端的 实现 


聊天 服务 器 的 服务 端 代 码 小 于 100 行 ， 不 到 asio 的 一 半 。 

请 先 阅 读 此 处 L65~L69 的 数据 成 员 的 定义 。 除 了 经 常见 到 的 
EventLoop 和 TcpServer，ChatServer 还 定义 了 codec_ 和 connections_ 作 为 成 
员 ， 后 者 存放 目前 已 建立 的 客户 连接 。 在 收 到 消息 之 后 ， 服 务 器 会 遍历 整 

个 容器 ， 把 消息 广播 给 其 中 的 每 一 个 TCP 连 接 (onStringMessage()) 。 
首先 ， 在 构造 函数 里 注册 回调 : 


examples/asio/chat/server.cc 
16 Class ChatServer : boost::noncopyable 


7 4 

18 public: 

19 ChatServer(EventLoop* loop, 

20 const InetAddress& listenAddr) 

21 : loop_(loop), 

22 server_(loop, listenAddr, "ChatServer"), 

23 codec_(boost: :bind(&ChatServer: :onStringMessage，this，_1，_2，_3)) 
24 { 

25 server_.setConnectionCallback( 

26 boost::bind(&ChatServer: :onConnection, this, _1)); 

27 server_.setMessageCallback( 

28 boost::bind(&LengthHeaderCodec: :onMessage, &codec_, _1, _2，_3)); 
29 站 


31 void start() 


32 { 
33 server_.start(); 
34 于 


examples/asio/chat/server.cc 


这 里 有 几 点 值得 注意 ， 在 以 往 的 代码 里 是 直接 把 本 class 的 onMessage() 
注册 给 server_; 这 里 我 们 把 LengthHeaderCodec::onMessage() 注 册 给 server_， 
然后 向 codec_ 注 册 了 ChatServer::onStringMessage()， 等 于 说 让 codec_ 负责 解 
析 消 息 ， 然 后 把 完整 的 消息 回调 给 ChatServer。 这 正 是 我 前 面 提 到 的 “一 个 
简单 的 间接 层 ”， 在 不 增加 muduo 库 的 复杂 度 的 前 提 下 ， 提 供 了 足够 的 灵活 
性 让 我 们 在 用 户 代 码 里 完成 需要 的 工作 。 

另外 ，server_.start(0 绝 对 不 能 在 构造 水 数 里 调用 ， 这 么 做 将 来 会 有 线程 
安全 的 问题 ， 见 81.2 的 论述 。 

以 下 是 处 理 连 接 的 建立 和 断 开 的 代码 ， 注 意 它 把 新 建 的 连接 加 入 到 
connections_ 容 器 中 ， 把 已 断 开 的 连接 从 容器 中 删除 。 这 么 做 是 为 了 避免 内 
存 和 资源 泄漏 ，TcpConnectionPtr 是 boost::shared_ptr<TcpConnection>， 是 
muduo 里 唯一 一 个 默认 采用 shared_ptr 来 管理 生命 期 的 对 象 。$4.7 谈 了 这 么 做 
的 原因 。 


examples/asio/chat/server.cc 
36 private: 
37 void onConnection(const TcpConnectionPtr& conn) 


38 { 

39 LOG_INFO << conn->localAddress().toIpPort() << " ->" 
40 << conn->peerAddress() .toIpPort() << ”is ” 
41 << (conn->connected() ? “UP”: "DOWN"); 

42 

43 if (conn->connected()) 

44 { 

45 connections_.insert(conn); 

46 } 

47 else 

48 { 

49 connections_.erase(conn); 

50 } 

51 } 


以 下 是 服务 端 处 理 消息 的 代码 ， 它 遍历 整个 connections_ 容 器， 把 消息 
打包 发 送 给 各 个 客户 连接 。 


53 void onStringMessage(const TcpConnectionPtr&， 


54 const String& message, 
55 Timestamp) 
56 { 
57 for (ConnectionList::iterator it = connections_.begin(); 
58 it != connections_.end() ; 
59 中 二 工 世 
60 { 
61 codec_.send(get_pointer(*it), message); 
62 } 
63 } 
数据 成 员 : 


65 typedef std::set<TcpConnectionPtr> ConnectionList; 
66 EventLoop* loop.; 
67 TcpServer Server_; 
68 LengthHeaderCodec codec_; 
69 ConnectionList connections_; 
70 ); 
examples/asio/chat/server.cc 


main() 冰 数 中 是 例行公事 的 代码 : 


examples/asio/chat/server.cc 
72 int main(int argc, char* argv[]) 


pr 

74 LOG_INFO << "pid = ”<< getpid(); 

75 i Cargo 众 

76 { 

77 EventLoop loop; 

78 Uint16_t port = static_cast<uint16_t>(atoi(argv[1])); 
79 InetAddress serverAddr (port); 

80 ChatServer server(&loop, serverAddr); 
81 server.start(); 

82 loop. loo0p(); 

83 } 

84 else 

85 

86 printf("Usage: %s port\n”, argv[0]); 
87 } 

88 } 


examples/asio/chat/server.cc 


如 果 你 读 过 asio 的 对 应 代码 ， 会 不 会 觉得 Reactor 往 往 比 Proactor 容 易 使 
用 ? 


7.3.5 ”客户 端的 实现 


我 有 时 觉得 服务 端的 程序 常常 比 客户 端的 更 容易 写 ， 聊 天 服务 器 再 次 
验证 了 我 的 看 法 。 客 户 端的 复杂 性 来 自 于 它 要 读 取 键 盘 输入 ， 而 EventLoop 
是 独占 线程 的 ， 所 以 我 用 了 两 个 线程 : main0 国 数 所 在 的 线程 负责 读 键盘 ， 
另外 用 一 个 EventLoopThread 来 处 理 网 络 IO。 2 

现在 来 看 代码 ， 首 先 ， 在 构造 沼 数 里 注册 回调 ， 并 使 用 了 跟前 面 一 样 
的 LengthHeaderCodec 作 为 中 间 层 ， 负 责 打 包 、 分 包 。 


examples/asio/chat/client.cc 
17 class ChatClient : boost::noncopyable 


18 { 

19 public: 

20 ChatClient(EventLoop* loop, const InetAddress& serverAddr) 

21 : loop_(loop), 

22 client_(loop, serverAddr, "ChatClient"), 

23 codec_(boost::bind(&ChatClient::onStringMessage, this, _1, _2，_3)) 
24 { 

25 client_.setConnectionCallback( 

26 boost::bind(&ChatClient::onConnection, this, _1)); 

27 client_.setMessageCallback( 

28 boost::bind(&LengthHeaderCodec: :onMessage，&codec_，_1，_2，_3)); 
29 client_.enableRetry(); 

30 } 


32 void connect() 


33 { 
34 client_.connect(); 
35 } 


disconnectO 目 前 为 空 ， 客 户 端 的 连接 由 操作 系统 在 进程 终止 时 关闭 。 


37 void disconnect() 


39 // client_.disconnect(); 
40 } 


write0) 会 由 main 线 程 调 用 ， 所 以 要 加 锁 ， 这 个 锁 不 是 为 了 保护 
TcpConnection， 而 是 为 了 保护 shared_ptr。 


42 void write(const StringPiece& message) 


43 { 

44 MutexLockGuard lock(mutex_); 

45 if (connection_) 

46 { 

47 codec_.send(get_pointer(connection_), message); 
48 } 

49 } 


onConnection() 会 由 EventLoop 线 程 调用 ， 所 以 要 加 锁 以 保护 
shared_ptro 


private: 


void onConnection(const TcpConnectionPtr& conn) 


LOG_INFO << conn->localAddress().toIpPort() << ”-> ” 
<< conn->peerAddress() .toIpPort() << " is " 
<< (conn->connected() ? "UP” : "DOWN"); 


MutexLockGuard lock(mutex_); 


if (conn->connected()) 
{ 

connection_ = conn; 
} 
else 
{ 

connection_.reset(); 
;i 


把 收 到 的 消息 打印 到 屏幕 ， 这 个 函数 由 EventLoop 线 程 调 用 ， 但 是 不 用 
加 锁 ， 因 为 printf0 是 线程 安全 的 。 注 意 这 里 不 能 用 std::cout<<， 它 不 是 线程 


void onStringMessage(const TcpConnectionPtr&, 
const string& message, 
Timestamp) 


安全 的 。 

69 

70 

71 

72 { 

73 printf( <<< %s\n”, message.c_str()); 
74 站 

数据 成 员 : 


80 
81 


EventLoop* loop.; 

TcpClient client_; 
LengthHeaderCodec codec_; 
MutexLock mutex_; 
TcpConnectionPtr connection_; 


3 


入 。 


main() 遂 | 数 里 除了 例行公事 ， 


examples/asio/chat/client.cc 


还 要 启动 EventLoop 线 程 和 读 取 键盘 输 


examples/asio/chat/client.cc 


83 int main(int argc, char*x argv[]) 


{ 
85 LOG_INFO << "pid = ”<< getpid(); 
86 if (argc > 2) 


a7 《{ 
88 EventLoopThread LoopThread; 

89 uint16_t port = static_cast<uint16_t>(atoi(argv[2])); 
90 InetAddress serverAddr(argv[1], port); 

91 

92 ChatClient client(loopThread.startLoop(), serverAddr); 
93 client.connect(); 

94 std::string line; 

95 while (std::getline(std::cin, line)) 

96 

97 client.write(line); 

98 ’ 

99 client.disconnect(); 

100 入 

101 else 


102 { 
103 printf("Usage: %s host_ip port\n”, argv[8]); 

104 } 

105 } 

examples/asio/chat/client.cc 


L92 ChatClient 使 用 EventLoopThread 的 EventLoop， 而 不 是 通常 的 主线 
程 的 EventLoop。1L97 发 送 数据 行 。 


简单 测试 


打开 三 个 命令 行 窗口 ， 在 第 一 个 窗口 运行 : 
$ ./asio_chat_server 3000 
在 第 二 个 窗口 运行 : 
$ ./asio_chat_client 127.0.0.1 30600 
在 第 三 个 窗口 运行 同样 的 命令 : 
$ ./asio_chat_client 127.0.0.1 3000 
这 样 就 有 两 个 客户 端 进程 参与 聊天 。 在 第 二 个 窗口 里 输入 一 些 字符 并 
回 车 ， 字 符 会 出 现在 本 窗口 和 第 三 个 窗口 中 。 
代码 示例 中 还 有 另外 三 个 server 程 序 ， 都 是 多 线程 的 ， 详 细 介绍 在 此 处 


server threaded.cc 使 用 多 线程 TcpServer， 并 用 mutex 来 保护 共享 数据 。 


Server threaded_efficient.cc 对 共享 数据 以 82.8“ 借 shared_ptr 实 现 copy-on- 
write” 的 手法 来 降低 锁 竞争 。 

“server threaded highperformance.cc 采用 thread local 变 量 ， 实 现 多 线程 高 
效 转发 ， 这 个 例子 值得 仔细 阅读 理解 。 


$7.8 会 介绍 muduo 中 的 定时 器 ， 并 实现 Boost.Asio 教 程 中 的 timer2~5 示 
例 ， 以 及 带 流量 统计 功能 的 discard 和 echo 服 务 器 (来 自 Java Netty) 。 流 量 
等 于 单位 时 间 内 发 送 或 接收 的 字 节 数 ， 这 要 用 到 定时 器 功能 。 


7.4 _ muduo Buffer 类 的 设计 与 使 用 


本 节 介 绍 muduo 中 输入 输出 缓冲 区 的 设计 与 实现 。 文 中 buffer 指 一 般 的 
应 用 层 缓冲 区 、 缓 冲 技术 ，Buffer 特 指 muduo::net::Buffer class。 


7.4.1 muduo 的 IO 模型 


[UNP] 6.2 节 总 结 了 Unix/Linux 上 的 五 种 IO 模型 : 阻塞 (blocking) 、 非 
阻塞 non-blocking) 、IO 复 用 〈IO multiplexing) 、 信 号 驱动 (signal- 
driven) 、 异 步 (asynchronous) 。 这 些 都 是 单线 程 下 的 IO 模型 。 

Cl10k 问 题 : 的 页 面 介 绍 了 五 种 IO 策略 ， 把 线程 也 纳入 考量 。 (现在 
C10k 已 经 不 是 什么 问题 ，C100k 也 不 是 大 问题 ，C1000k 才 算得 上 挑战 ) 。 

在 这 个 多 核 时 代 ， 线 程 是 不 可 避免 的 。 那 么 服务 端 网 络 编程 该 如 何 选 
择 线程 模型 呢 ? 我 赞同 libev 作 者 的 观点 2: one loop per thread is usually a 
good model。 之 前 我 也 不 止 一 次 表述 过 这 个 观点 ， 参 见 83.3“ 多 线程 服务 器 
的 常用 编程 模型 * 和 86.6“ 详 解 muduo 多 线程 模型 ”。 

如 果 采 用 one loop per thread 的 模型 ， 多 线程 服务 端 编程 的 问题 就 简化 为 
如 何 设计 一 个 高 效 且 易于 使 用 的 event loop， 然 后 每 个 线程 run 一 个 event loop 
就 行 了 〈 当 然 、 同 步 和 互 斥 是 不 可 或 缺 的 ) 。 在 “高 效 ” 这 方面 已 经 有 了 很 
多 成 熟 的 范例 (libev、libevent、memcached、redis、lighttpd、nginx) ,在 
“易于 使 用 ”方面 我 希望 muduo 能 有 所 作为 。 (muduo 可 算是 用 现代 C++ 实现 
了 Reactor 模 式 ， 比 起 原始 的 Reactor 来 说 要 好 用 得 多 。) 


event loop 是 non-blocking 网 络 编程 的 核心 ， 在 现实 生活 中 ，non-blocking 
几乎 总 是 和 IO multiplexing 一 起 使 用 ， 原 因 有 两 点 : 


.没有 人 真 的 会 用 轮 询 (busy-pooling) 来 检查 某 个 non-blocking IO 操作 
是 否 完成 ， 这 样 太 浪费 CPU cycles。 

IO multiplexing 一 般 不 能 和 blocking IO 用 在 一 起 ， 因 为 blocking IO 中 
read()/write()/accept()/connect() 都 有 可 能 阻塞 当前 线程 ， 这 样 线 程 就 没 办 法 
处 理 其 他 socket 上 的 IO 事 件 了 。 见 [UNP] 16.6 节 “nonblocking accept” 的 例 
和 


所 以 ， 当 我 提 到 non-blocking 的 时 候 ， 实 际 上 指 的 是 non-blocking 十 IO 
multiplexing， 单 用 其 中 任何 一 个 是 不 现实 的 。 另 外 ， 本 书 所 有 的 “连接 ” 均 
指 TCP 连 接 ，socket 和 connection 在 文中 可 互 换 使 用 。 

当然 ，non-blocking 编 程 比 blocking 难 得 多 ， 见 86.4.1“TCP 网 络 编程 本 质 
论 ” 列 举 的 难点 。 基 于 event loop 的 网 络 编程 跟 直接 用 C/C++ 编写 单线 程 
Windows 程 序 颇 为 相像 : 程序 不 能 阻塞 ， 否 则 窗口 就 失去 响应 了 ; 在 event 
handler 中 ， 程 序 要 尽快 交 出 控制 权 ， 返 回 窗口 的 事件 循环 。 


7.4.2 ”为 什么 non-blocking 网 络 编程 中 应 用 层 buffer 是 必需 的 


non-blocking IO 的 核心 思想 是 避免 阻塞 在 read0 或 write0) 或 其 他 IO 系统 调 
用 上 ， 这 样 可 以 最 大 限度 地 复 用 thread-of-control， 让 一 个 线程 能 服务 于 多 个 
socket 和 连接 。IO 线 程 只 能 阻塞 在 IO multiplexing 贺 数 上 ， 如 
select/poll/epoll_wait。 这 样 一 来 ， 应 用 层 的 缓冲 是 必需 的 ， 每 个 TCP socket 
都 要 有 stateful 的 input buffer 和 output buffer。 

TcpConnection 必 须要 有 output buffer ”考虑 一 个 常见 场景 : 程序 想 通 
过 TCP 连 接 发 送 100kB 的 数据 ， 但 是 在 write() 调 用 中 ， 操 作 系统 只 接受 了 
80kB ( 受 TCP advertised window 的 控制 ， 细 节 见 [TCPv1]) ， 你 肯定 不 想 在 
原 地 等 待 ， 因 为 不 知道 会 等 多 久 (取决 于 对 方 什么 时 候 接收 数据 ， 然 后 滑 
动 TCP 窗 口 ) 。 程 序 应 该 尽快 交 出 控制 权 ， 返 回 event loop。 在 这 种 情况 
下 ， 剩 余 的 20kB 数 据 怎么 办 ? 


对 于 应 用 程序 而 言 ， 它 只 管 生成 数据 ， 它 不 应 该 关心 到 底数 据 是 一 次 
性 发 送 还 是 分 成 几 次 发 送 ， 这 些 应 该 由 网 络 库 来 操心 ， 程 序 只 要 调用 
TcpConnection::send() 就 行 了 ， 网 络 库 会 负责 到 底 。 网 络 库 应 该 接管 这 剩余 
的 20kB 数 据 ， 把 它 保存 在 该 TCP connection 的 output buffer 里 ， 然 后 注册 
POLLOUT 事 件 ， 一 旦 socket 变 得 可 写 就 立刻 发 送 数 据 。 当 然 ， 这 第 二 次 
write() 也 不 一 定 能 完全 写 入 20kB， 如 果 还 有 剩余 ， 网 络 库 应 该 继续 关注 
POLLOUT 事 件 ; 如 果 瑟 完了 20kB， 网 络 库 应 该 停止 关注 POLLOUT， 以 免 
造成 busy loop。 (muduo EventLoop 采 用 的 是 epoll level trigger， 原 因 见 下 
方 & 》 

如 果 程 序 又 写 入 了 50kB， 而 这 时 候 output buffer 里 还 有 待 发 送 的 20kB 数 
据 ， 那 么 网 络 库 不 应 该 直接 调用 write()， 而 应 该 把 这 50kB 数 据 append 在 那 
20kB 数 据 之 后 ， 等 socket 变 得 可 写 的 时 候 再 一 并 写 入 。 

如 果 output buffer 里 还 有 待 发 送 的 数据 ， 而 程序 又 想 关 闭 连 接 (对 程序 
而 言 ， 调 用 TcpConnection::send0 之 后 他 就 认为 数据 迟早 会 发 出 去 ) ， 那 么 
这 时 候 网 络 库 不 能 立刻 关闭 连接 ， 而 要 等 数据 发 送 完毕 ， 见 此 处 “为 什么 
TcpConnection:: shutdown(O 没 有 直接 关闭 TCP 连 接 ” 中 的 讲解 。 

综 上 ， 要 让 程序 在 write 操作 上 不 阻塞 ， 网 络 库 必 须要 给 每 个 TCP 
connection 怒 置 output buffer。 

TcpConnection 必 须要 有 input buffer ”TCP 是 一 个 无 边界 的 字 节 流 协 
议 ， 接 收 方 必须 要 处 理 “ 收 到 的 数据 尚 不 构成 一 条 完整 的 消息 和 “一 次 收 到 
两 条 消息 的 数据 ”等 情况 。 一 个 常见 的 场景 是 ， 发 送 方 snd0 了 两 条 1kB 的 消 
息 〈 共 2kB) ， 接 收 方 收 到 数据 的 情况 可 能 是 : 


.一 次 性 收 到 2kB 数 据 ; 

.分 两 次 收 到 ， 第 一 次 600B， 第 二 次 1400B ; 

.分 两 次 收 到 ， 第 一 次 1400B， 第 二 次 600B ; 

.分 两 次 收 到 ， 第 一 次 1kB， 第 二 次 1kB ; 

分 三 次 收 到 ， 第 一 次 600B， 第 二 次 800B， 第 三 次 600B ; 

:其 他 任何 可 能 。 一 般 而 言 ， 长 度 为 n 字 节 的 消息 分 块 到 达 的 可 能 性 有 2" 
种 。 


网 络 库 在 处 理 “socket 可 读 ” 事 件 的 时 候 ， 必 须 一 次 性 把 socket 里 的 数据 
读 完 〈 从 操作 系统 buffer 搬 到 应 用 层 buffer) ， 否 则 会 反复 触发 POLLIN 事 
件 ， 造 成 busy-loop。 那 么 网 络 库 必然 要 应 对 “数据 不 完整 * 的 情况 ， 收 到 的 
数据 先 放 到 input buffer 里 ， 等 构成 一 条 完整 的 消息 再 通知 程序 的 业务 逻辑 。 
这 通常 是 codec 的 职责 ， 见 $7.3“Boost.Asio 的 聊天 服务 器 * 中 的 “TCP 分 包 ” 的 
论述 与 代码 。 所 以 ， 在 TCP 网 络 编程 中 ， 网 络 库 必须 要 给 每 个 TCP 
connection 配 置 input buffer。 

muduo EventLoop 采 用 的 是 epoll(4) level trigger， 而 不 是 edge trigger。 一 
是 为 了 与 传统 的 poll(2) 兼 容 ， 因 为 在 文件 描述 符 数 目 较 少 ， 活 动 文件 描述 符 
比例 较 高 时 ，epoll(4) 不 见得 比 poll(2) 更 高 效 2， 必 要 时 可 以 在 进程 启动 时 切 
换 Poller。 二 是 level trigger 编 程 更 容易 ， 以 往 select(2)/poll(2) 的 经 验 都 可 以 继 
续 用 ， 不 可 能 发 生 漏 掉 事件 的 bug。 三 是 读 写 的 时 候 不 必 等 候 出 现 
EAGAIN， 可 以 节省 系统 调用 次 数 ， 降 低 延 到 。 

所 有 muduo 中 的 IO 都 是 带 缓冲 的 IO (buffered IO) ， 你 不 会 自己 去 
read() 或 write() 某 个 socket， 只 会 操作 TcpConnection 的 input buffer 和 output 
buffer。 更 确切 地 说 ， 是 在 onMessage() 回 调 里 读 取 input buffer; 调用 
TcpConnection::send() 来 间接 操作 output buffer， 一 般 不 会 直接 操作 output 
buffer。 

另外 , muduo 的 onMessage() 的 原型 如 下 ， 它 既 可 以 是 free function， 也 可 
以 是 member function， 反 正 muduo TcpConnection 只 认 boost::function<>。 
void onMessage(const TcpConnectionPtr& conn, Buffer*x buf, Timestamp receiveTime); 

对 于 网 络 程序 来 说 ， 一 个 简单 的 验收 测试 是 : 输入 数据 每 次 收 到 一 个 
字 节 (200 字 节 的 输入 数据 会 分 200 次 收 到 ， 每 次 间隔 10ms) ， 程 序 的 功能 
不 受 影响 。 对 于 muduo 程 序 ， 通 常 可 以 用 codec 来 分 离 “ 消 息 接 收 ” 与 “消息 处 
理 ”， 见 87.6“ 在 muduo 中 实现 Protobuf 编 解码 器 与 消息 分 发 器 > 对“ 编 解码 器 
codec” 的 介绍 。 

如 果 某 个 网 络 库 只 提供 相当 于 char buf[8192] 的 缓冲 ， 或 者 根本 不 提供 
缓冲 区 ， 而 仅仅 通知 程序 * 某 socket 可 读 二 某 socket 可 写 ”， 要 程序 自己 操心 
IO buffering， 这 样 的 网 络 库 用 起 来 就 很 不 方便 了 。 


7.4.3 ”Buffer 的 功能 需求 


muduo Buffer 的 设计 考虑 了 常见 的 网 络 编程 需求 ， 我 试图 在 易 用 性 和 性 
能 之 间 找 一 个 平衡 点 ， 目 前 这 个 平衡 点 更 偏向 于 易 用 性 。 
muduo Buffer 的 设计 要 点 : 


.对 外 表现 为 一 块 连续 的 内 存 (char* p, int len)， 以 方便 客户 代码 的 编 
写 。 

.其 size0 可 以 自动 增长 ， 以 适应 不 同 大 小 的 消息 。 它 不 是 一 个 fixed size 
array (例如 char buf[8192]) 。 

.内 部 以 std::vector<char> 来 保存 数据 ， 并 提供 相应 的 访问 函数 。 


Buffer 其 实 像 是 一 个 gueue， 从 末尾 写 入 数据 ， 从 头 部 读 出 数据 。 
谁 会 用 Buffer? 谁 写 谁 读 ? 根据 前 文 分 析 ，TcpConnection 会 有 两 个 
Buffer 成 员 ，input buffer 与 output buffero 


"input buffer，TcpConnection 会 从 socket 读 取 数 据 ， 然 后 写 入 input buffer 
(其 实 这 一 步 是 用 Buffer::readFd() 完 成 的 ) ; 客户 代码 从 input buffer 读 取 数 
据 。 
output buffer， 客 户 代码 会 把 数据 写 入 output buffer (其 实 这 一 步 是 用 
TcpConnection::send() 完 成 的 ) ; TcpConnection 从 output buffer 读 取 数 据 并 写 
入 socket 


其 实 ，input 和 output 是 针对 客户 代码 而 言 的 ， 客 户 代码 从 input 读 ， 往 
output 写 。TcpConnection 的 读 写 正 好 相反 。 

图 7-2 是 muduo::net::Buffer 的 类 图 。 请 注意 ， 为 了 后 面 男 图 方便 ， 这 个 
类 图 跟 实际 代码 略 有 出 入 ， 但 不 影响 我 要 表达 的 观点 。 代 码 位 于 
muduo/net/Buffer.{h,cc} 。 


-data: vector<char> 
-readIndex: int 
-Writelndex: int 


+readableBytes(): int 


+peek(): const char 
+retrieve(int) 
+retrieveAsString(): string 
+append(const void”*, int) 
+prepend(const void ,int) 
+Swap(Buffer&) 
-readFd(int): int 


图 7-2 

本 节 不 介绍 每 个 成 员 函 数 的 使 用 ， 而 会 详细 讲解 readIndex 和 writeIndex 
的 作用 。 

Buffer::readFd0 ”我 在 此 处 写 道 : 

在 非 阻塞 网 络 编程 中 ， 如 何 设计 并 使 用 缓冲 区 ?一 方面 我 们 希望 减少 
系统 调用 ， 一 次 读 的 数据 越 多 越 划算 ， 那 么 似乎 应 该 准备 一 个 大 的 缓冲 
区 。 另 一 方面 希望 减少 内 存 占用 。 如 果 有 10000 个 并 发 连接 ， 每 个 连接 一 建 
立 就 分 配 各 50kB 的 读 写 缓冲 区 的 话 ， 将 占用 1GB 内 存 ， 而 大 多 数 时 候 这 些 
缓冲 区 的 使 用 率 很 低 。muduo 用 readv(2) 结 合 栈 上 空间 巧妙 地 解决 了 这 个 问 
题 。 

具体 做 法 是 ， 在 栈 上 准备 一 个 65536 字 节 的 extrabuf， 然 后 利用 readv() 来 
读 取 数据 ，iovec 有 两 块 ， 第 一 块 指 向 muduo Buffer 中 的 writable 字 节 ， 另 一 
块 指向 栈 上 的 extrabuf。 这 样 如 果 读 入 的 数据 不 多 ， 那 么 全 部 都 读 到 Buffer 
中 去 了 ; 如 果 长 度 超 过 Buffer 的 writable 字 节 数 ， 就 会 读 到 栈 上 的 extrabuf 
里 ， 然 后 程序 再 把 extrabuf 里 的 数据 append0 到 Buffer 中 ， 代 码 见 $8.7.2。 

这 么 做 利用 了 临时 栈 上 空间 上 ， 避 免 每 个 连接 的 初始 Buffer 过 大 造成 的 
内 存 浪 费 ， 也 避免 反复 调用 read0) 的 系统 开销 (由 于 缓冲 区 足够 大 ， 通 常 一 
次 readv0 系 统 调用 就 能 读 完全 部 数据 ) 。 由 于 muduo 的 事件 触发 采用 level 


trigger， 因 此 这 个 函数 并 不 会 反复 调用 read() 直 到 其 返回 AGAIN， 从 而 可 以 
降低 消息 处 理 的 延迟 。 

这 算是 一 个 小 小 的 创新 吧 。 

线程 安全 ? ”muduo::net::Buffer 不 是 线程 安全 的 〈 其 安全 性 跟 
std::vector 相 同 ) ， 这 么 设计 的 理由 如 下 : 


.对 于 input buffer，onMessage() 回 调 始 终 发 生 在 该 TcpConnection 所 属 的 
那个 IO 线程 ， 应 用 程序 应 该 在 onMessage0 完 成 对 input buffer 的 操作 ， 并 且 
不 要 把 input buffer 暴 露 给 其 他 线程 。 这 样 所 有 对 input buffer 的 操作 都 在 同一 
个 线程 ，Buffer class 不 必 是 线程 安全 的 。 

.对 于 output buffer， 应 用 程序 不 会 直接 操作 它 ， 而 是 调用 
TcpConnection::send0) 来 发 送 数据 ， 后 者 是 线程 安全 的 。 


代码 中 用 EventLoop::assertInLoopThread() 保 证 以 上 假设 成 立 。 

如 果 TcpConnection::send0) 调 用 发 生 在 该 TcpConnection 所 属 的 那个 IO 线 
程 ， 那 么 它 会 转 而 调用 TcpConnection::sendInLoop()，sendInLoop() 会 在 当前 
线程 (也 就 是 IO 线 程 ) 操作 output buffer;， 如 果 TcpConnection::send() 调 用 发 
生 在 别 的 线程 ， 它 不 会 在 当前 线程 调用 sendInLoop()， 而 是 通过 
EventLoop::runInLoopO 把 sendInLoop0O 国 数 调用 转移 到 IO 线程 〈 听 上 去 颇 为 
神奇 ? ) ， 这 样 sendInLoopO 还 是 会 在 IO 线程 操作 output buffer， 不 会 有 线程 
安全 问题 。 当 然 ， 跨 线程 的 负数 转移 调用 涉及 函数 参数 的 跨 线程 传递 ， 一 
种 简单 的 做 法 是 把 数据 拷贝 一 份 ， 绝 对 安全 。 

另 一 种 更 为 高 效 的 做 法 是 用 swap0。 这 就 是 为 什么 TcpConnection::send() 
的 某 个 重 载 以 Buffer* 为 参数 ， 而 不 是 const Buffer&， 这 样 可 以 避免 拷贝 ， 而 
用 Buffer::swapO 实 现 高 效 的 线程 间 数 据 转移 。 〈 最 后 这 点 ， 仅 为 设想 ， 暂 未 
实现 。 目 前 仍然 以 数据 拷贝 方式 在 线程 间 传 递 ， 略 微 有 些 性 能 损失 。 ) 


7.4.4 ”Buffer 的 数据 结构 


Buffer 的 内 部 是 一 个 std::vector<char>， 它 是 一 块 连 续 的 内 存 。 此 外 ， 
Buffer 有 两 个 data member， 指 向 该 vector 中 的 元 素 。 这 两 个 index 的 类 型 是 
int， 不 是 char*， 目 的 是 应 对 迭代 器 失效 。muduoBuffer 的 设计 参考 了 Netty 的 


ChannelBuffer 和 1libevent 1.4.x 的 evbuffer。 不 过 ， 其 prependable 可 算是 一 点 
“ 微 创新 ”。 

在 介绍 Buffer 的 数据 结构 之 前 ， 先 简单 说 一 下 后 面 示意 图 中 表示 指针 或 
下 标的 箭头 所 指 位 置 的 具体 含义 。 对 于 长 度 为 10 的 字符 串 "Chen Shuown"， 
如 果 p0 指 向 第 0 个 字符 (白色 区 域 的 开始 ) ，p1 指 向 第 5 个 字符 〈 灰 色 区 域 
的 开始 ) ，p2 指 向 \n' 之 后 的 那个 位 置 (通常 是 end() 迭 代 器 所 指 的 位 置 ) ， 
那么 精确 的 男 法 如 图 7-3 的 左 图 所 示 ， 简 略 的 男 法 如 图 7-3 的 右 图 所 示 ， 后 文 
都 采用 这 种 简略 画 法 。 
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图 7-3 
muduo Buffer 的 数据 结构 如 图 7-4 所 示 。 
prependable readable writable 
£ Nr sr \ 
vector<char> 
0 readIndex writeIndex size() 
图 7-4 


两 个 index 把 vector 的 内 容 分 为 三 块 : prependable、readable、writable， 
各 块 的 大 小 见 式 7-1。 灰 色 部 分 是 Buffer 的 有 效 载 荷 (payload) ， 
prependable 的 作用 留 到 后 面 讨 论 。 
prependable = readIndex 
readable = wrtriteIndex — readIndex (7—1) 
writable = size() — writeIndex 
readIndex 和 writeIndex 满 足以 下 不 变 式 (invariant) : 


0 < readIndex < writeIndex < size() 


muduo Buffer 里 有 两 个 常数 kCheapPrepend 和 kInitialSize， 定 义 了 
prependable 的 初始 大 小 和 writable 的 初始 大 小 ，readable 的 初始 大 小 为 0。 在 
初始 化 之 后 ，Buffer 的 数据 结构 如 图 7-5 所 示 ， 其 中 括号 里 的 数字 是 该 变量 
或 常量 的 值 。 


kCheapPrepend(8) klInitialSize( 1024) 
pa 


0 readIndex(8) size(1032) 
writeIndex(8) 
图 7-5 


根据 以 上 公式 〈 见 式 7-1) 可 算出 各 块 的 大 小 ， 刚 刚 初始 化 的 Buffer 里 
没有 payload 数 据 ， 所 以 readable == 0。 


7.4.5 Buffer 的 操作 


基本 的 read-write cycle 


Buffer 初 始 化 后 的 情况 见 图 7-4。 如 果 向 Buffer 写 入 了 200 字 节 ， 那 么 其 
布局 如 图 7-6 所 示 。 


8 readable = 200 writable = 824 
EE ~ ~ 
0 
readIndex(8) writeIndex(208) size(1032) 
图 7-6 


7-6 中 writeIndex 向 后 移动 了 200 字 节 ，readIndex 保 持 不 变 ，readable 和 
writable 的 值 也 有 变化 。 


如 果 从 Buffer read() & retrieve() (下 称 “ 读 入 ”) 了 50 字 节 ， 结 果 如 图 7-7 
所 示 。 与 图 7-6 相 比 ，readIndex 向 后 移动 50 字 节 ，writeIndex 保 持 不 变 ， 
readable 和 writable 的 值 也 有 变化 〈 这 句 话 往 后 从 略 ) 。 
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图 7-7 
然后 又 写 入 了 200 字 节 ，writeIndex 向 后 移动 了 200 字 节 ，readIndex 保 持 
不 变 ， 如 图 7-8 所 示 。 


58 readable = 350 writable = 624 


readIndex(58) writeIndex(408) size(1032) 
图 7-8 
接 下 来 ， 一 次 性 读 入 350 字 节 ， 请 注意 ， 由 于 全 部 数据 读 完 了 ， 
readIndex 和 writeIndex 返 回 原 位 以 备 新 一 轮 使 用 〈 见 图 7-9) ， 这 和 图 7-5 是 
一 样 的 。 
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图 7-9 
以 上 过 程 可 以 看 作 是 发 送 方 发 送 了 两 条 消息 ， 长 度 分 别 为 50 字 节 和 350 
字 节 ， 接 收 方 分 两 次 收 到 数据 ， 每 次 200 字 节 ， 然 后 进行 分 包 ， 再 分 两 次 回 
调 客户 代码 。 


自动 增长 


muduo Buffer 不 是 固定 长 度 的 ， 它 可 以 自动 增长 ， 这 是 使 用 vector 的 直 
接 好 处 。 假 设 当前 的 状态 如 图 7-10 所 示 。 (这 和 前 面 的 图 7-8 是 一 样 的 。) 
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readjndex(S8) writeIndex(408) size(1032) 
图 7-10 

客户 代码 一 次 性 写 入 1000 字 节 ， 而 当前 可 写 的 字 节 数 只 有 624， 那 么 
buffer 会 自动 增长 以 容纳 全 部 数据 ， 得 到 的 结果 如 图 7-11 所 示 。 注 意 
readIndex 返 回 到 了 前 面 ， 以 保持 prependable 等 于 kCheapPrependable。 由 于 
vector 重 新 分 配 了 内 存 ， 原 来 指向 其 元 素 的 指针 会 失效 ， 这 就 是 为 什么 
readIndex 和 writeIndex 是 整数 下 标 而 不 是 指针 。 (注意 : 在 目前 的 实现 中 
prependable 会 保持 58 字 节 ， 留 待 将 来 修正 。) 
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图 7-11 


然后 读 入 350 字 节 ，readIndex 前 移 ， 如 图 7-12 所 示 。 
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最 后 ， 读 完 剩 下 的 1000 字 节 ，readIndex 和 writeIndex 返 回 
kCheapPrependable， 如 图 7-13 所 示 。 
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图 7-13 


注意 buffer 并 没有 缩小 大 小 ， 下 次 写 入 1350 字 节 就 不 会 重新 分 配 内 存 
了 。 换 句 话说 ，muduo Buffer 的 size0 是 自 适 应 的 ， 它 一 开始 的 初始 值 是 1kB 
多 ， 如 果 程 序 中 经 常 收发 10kB 的 数据 ， 那 么 用 几 次 之 后 它 的 size0) 会 自动 增 
长 到 10kB ， 然 后 就 保持 不 变 。 这 样 一 方面 避免 浪费 内 存 (Buffer 的 初始 大 小 
直接 决定 了 高 并 发 连接 时 的 内 存 消耗 ) ， 另 一 方面 避免 反复 分 配 内 存 。 当 
然 ， 客 户 代 码 可 以 手动 shrink() buffer size()。 


size() 与 capacity() 


使 用 vector 的 另 一 个 好 处 是 它 的 capcity0 机 制 减少 了 内 存 分 配 的 次 数 。 
比方 说 程序 反复 写 入 1 字 节 ，muduo Buffer 不 会 每 次 都 分 配 内 存 ，vector 的 
capacity() 以 指数 方式 增长 ， 让 push_back0 的 平均 复杂 度 是 常数 。 上 比方 说 经 
过 第 一 次 增长 ，size(O) 刚 好 满足 写 入 的 需求 ， 如 图 7-14 所 示 。 但 这 个 时 候 
vector 的 capacity0 已 经 大 于 size()， 在 接 下 来 写 入 capacity() 一 size() 字 节 的 数 
据 时 ， 都 不 会 重新 分 配 内 存 ， 如 图 7-15 所 示 。 
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思考 题 : 为 什么 我 们 不 需要 调用 reserve() 来 预先 分 配 空间 ? 因为 Buffer 
在 构造 水 数 里 把 初始 size() 设 为 1KiB， 这 样 当 size() 超 过 1KiB 的 时 候 vector 会 
把 capacity0) 加 倍 ， 等 于 说 resize() 蔡 我 们 做 了 reserve() 的 事 。 用 一 段 简单 的 代 
码 验 证 一 下 : 
vector<char> vec; 
printf("%zd %zd\n”, vec.size(), vec.capacity()); 
vec.resize(1024); 
printf("%zd %zd\n”", vec.size(), vec.capacity()); 


vec.resize(1300) ; 
printf("%zd %zd\n”, vec.size(), vec.capacity()): 


运行 结果 : 
0 0 # 一 开始 size() 和 capacity() 都 是 8 
1024 16024 “”# resize(1024) 之 后 size() 和 capacity() 都 是 1024 
1300 2048  # resize( 稍 大 ) 之 后 capacity() 翻 倍 ， 相 当 于 reserve(2048) 
细心 的 读者 可 能 会 发 现 用 capacity0 也 不 是 完美 的 ， 它 有 优化 的 余地 。 
具体 来 说 ，vector::resize() 会 初始 化 (memset0/bzero0) 内 存 ， 而 我 们 不 需 
要 它 初始 化 ， 因 为 反正 立刻 就 要 填 入 数据 。 比 如 ， 在 图 7-15 的 基础 上 写 入 


200 字 节 ， 由 于 capacity() 足 够 大 ， 不 会 重新 分 配 内 存 ， 这 是 好 事 ; 但 是 
vector::resize() 会 先 把 那 200 字 节 memset() 为 0( 见 图 7-16) ， 然 后 muduo 
Buffer 再 填 入 数据 ( 见 图 7-17) 。 这 么 做 稍微 有 点 浪费 ， 不 过 我 不 打算 优化 
它 ， 除 非 它 确实 造成 了 性 能 瓶颈 。 (精通 STL 的 读者 可 能 会 说 用 
vec.insert(vec.end(), .…) 以 避免 浪费 ， 但 是 writeIndex 和 size() 不 一 定 是 对 齐 

9 ， 会 有 别 的 麻烦 。) 
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图 7-17 
Google Protobuf 中 有 一 个 STLStringResizeUninitialized 遂 数 s， 干 的 就 是 
这 个 事情 。 
内 部 腾挪 


有 时 候 ， 经 过 若干 次 读 写 ，readIndex 移 到 了 比较 靠 后 的 位 置 ， 留 下 了 
巨大 的 prependable 空 间 ， 如 图 7-18 所 示 。 
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这 时 候 ， 如 果 我 们 想 写 入 300 字 节 ， 而 writable 只 有 200 字 节 ， 怎 么 办 ? 
muduo Buffer 在 这 种 情况 下 不 会 重新 分 配 内 存 ， 而 是 先 把 已 有 的 数据 移 到 前 
面 去 ， 腾 出 writable 空 间 ， 如 图 7-19 所 示 。 
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然后 ， 就 可 以 写 入 300 字 节 了 ， 如 图 7-20 所 示 。 
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图 7-20 


这 么 做 的 原因 是 ， 如 果 重 新 分 配 内 存 ， 反 正 也 是 要 把 数据 拷贝 到 新 分 
配 的 内 存 区 域 ， 代价 只 会 更 大 。 


前 方 添加 (prepend) 


前 面 说 muduo Buffer 有 个 小 小 的 创新 (或 许 不 是 创新 ， 我 记得 在 哪儿 看 
到 过 类 似 的 做 法 ， 忘 了 出 处 ) ， 即 提供 prependable 空 间 ， 让 程序 能 以 很 低 
的 代价 在 数据 前 面 添加 几 个 字 节 。 

比方 说 ， 程 序 以 固定 的 4 个 字 节 表 示 消 息 的 长 度 (87.3“Boost.Asio 的 聊 
天 服务 器 ”中 的 LengthHeaderCodec) ， 我 要 序列 化 一 个 消息 ， 但 是 不 知道 它 
有 多 长 ， 那 么 我 可 以 一 直 append0O 直 到 序列 化 完成 (图 7-21， 写 入 了 200 字 
节 ) ， 然 后 再 在 序列 化 数据 的 前 面 添加 消息 的 长 度 (图 7-22， 把 200 这 个 数 
prepend 到 首部 ) 。 


prependable =8 readable = 200 writable = 824 
A WN 


PAYLOAD 


readIndex(8) writelIndex(208) size(1032) 
图 7-21 
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图 7-22 


通过 预 留 kCheapPrependable 空 间 ， 可 以 简化 客户 代码 ， 以 空间 换 时 
间 。 

以 上 各 种 use case 的 单元 测试 见 muduo/net/tests/Buffer_unittest.cc 。 
7.4.6 ”其 他 设计 方案 

这 里 简单 谈 谈 其 他 可 能 的 应 用 层 buffer 设 计 方 案 。 


不 用 vector<char> 


如 果 有 STL 洁 癖 ， 那 么 可 以 自己 管理 内 存 ， 以 4 个 指针 为 buffer 的 成 员 ， 
数据 结构 如 图 7-23 所 示 。 


prependable readable writable 


图 7-23 
说 实话 我 不 觉得 这 种 方案 比 std::vector 好 。 代 码 变 复杂 了 ， 人 性 能 也 未 见 
得 有 能 察觉 得 到 (noticeable) 的 改观 。 如 果 放 弃 “ 连 续 性 ”要 求 ， 可 以 用 
circular buffer， 这 样 可 以 减少 一 点 内 存 拷 贝 (没有 “内 部 腾挪 ”) 。 


zero copy 


如 果 对 性 能 有 极 高 的 要 求 ， 受 不 了 copy() 与 resize()， 那 么 可 以 考虑 实现 
分 段 连续 的 zero copy buffer 再 配合 gather scatter IO ， 数 据 结构 如 图 7-24 所 
示 ， 这 是 libevent 2.0.x 的 设计 方案 。ITCPv2 介 绍 的 BSD TCP/IP 实 现 中 的 mbuf 
也 是 类 似 的 方案 ，Linux 的 sk_buff 估 计 也 差不多 。 细 节 有 出 入 ， 但 基本 思 
都 是 不 要 求 数据 在 内 存 中 连续 ， 而 是 用 链表 把 数据 块 链 接 到 一 起 。 


evbuffer cl: evbuffer_chain c2: evbuffer_chain 


£1I 江 名 坊 | Next 十 一 人 | DexXt NULL 
last - buffer_len = buffer_len 
last_with_datap misalign misalign 
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图 7-24 


7-24 绘 制 的 是 由 两 个 evbuffer_chain 构 成 的 evbuffer， 右 边 两 个 
evbuffer_chain 结 构 体 中 深 灰 色 的 部 分 是 payload， 可 见 evbuffer 的 缓冲 区 不 是 
连续 的 ， 而 是 分 块 的 。 

当然 ， 高 性 能 的 代价 是 代码 变 得 星 难 读 ，buffer 不 再 是 连续 的 ，parse 
消息 会 稍微 麻烦 一 些 。 如 果 你 的 程序 只 处 理 Protobuf Message， 这 不 是 问 
题 ， 因 为 Protobuf 有 ZeroCopyInputStream 接 口 ， 只 要 实现 这 个 接口 ，parsing 
的 事情 就 交 给 Protobuf Message 去 操心 了 。 


7.4.7 ”性 能 是 不 是 问题 


看 到 这 里 ， 有 的 读者 可 能 会 咬 咕 : muduo Buffer 有 那么 多 可 以 优化 的 地 
方 ， 其 性 能 会 不 会 太 低 ? 对 此 ， 我 的 回应 是 “可 以 优化 ， 不 一 定 值得 优 
化 

muduo 的 设计 目标 是 用 于 开发 公司 内 部 的 分 布 式 程序 。 换 句 话说 ， 它 是 
用 来 写 专 用 的 Sudoku server 或 者 游戏 服务 器 ， 不 是 用 来 写 通 用 的 httpd 或 ftpd 
或 Web proxy。 前 者 通常 有 业务 逻辑 ， 后 者 更 强调 高 并 发 与 高 吞吐 量 。 

以 Sudoku 为 例 ， 假 设 求解 一 个 Sudoku 问 题 需 要 0.2ms， 服 务 器 有 8 个 
核 ， 那 么 理想 情况 下 每 秒 最 多 能 求解 40000 个 问题 。 每 次 Sudoku 请 求 的 数据 
大 小 低 于 100 字 节 (一 个 9x9 的 数 独 只 要 81 字 节 ， 加 上 header 也 可 以 控制 在 


100 字 节 以 下 ) ， 也 就 是 说 100x40000=4MB/s 的 吞吐 量 就 足以 让 服务 器 的 
CPU 饱和 。 在 这 种 情况 下 ， 去 优化 Buffer 的 内 存 拷贝 次 数 似乎 没有 意义 。 

再 举 一 个 例子 ， 目 前 最 常用 的 千 焰 以 太 网 的 裸 吞吐 量 是 125MB/s， 扣 除 
以 太 网 header、IP header、TCP header 之 后 ， 应 用 层 的 吞吐 率 大 约 在 
117MB/s 上 下 *。 而 现在 服务 器 上 最 常用 的 DDR2/DDR3 内 存 的 带宽 至 少 是 
4GB/s， 上 比 千 焰 以 太 网 高 40 倍 以 上 。 也 就 是 说 ， 对 于 几 kB 或 几 十 kB 大 小 的 
数据 ， 在 内 存 中 复制 几 次 根本 不 是 问题 ， 因 为 受 千 兆 以 太 网 延迟 和 带宽 的 
限制 ， 跟 这 个 程序 通信 的 其 他 机 器 上 的 程序 不 会 觉察 到 性 能 差异 。 

最 后 举 一 个 例子 ， 如 果 你 实现 的 服务 程序 要 跟 数 据 库 打 交道 ， 那 么 瓶 
有 颈 常 常 在 DB 上 ， 优 化 服务 程序 本 身 不 见得 能 提高 性 能 (从 DB 读 一 次 数据 往 
往 就 抵消 了 你 做 的 全 部 low-level 优 化 ) ， 这 时 不 如 把 精力 投入 在 DB 调 优 
下 

专用 服务 程序 与 通用 服务 程序 的 另外 一 点 区 别 是 benchmark 的 对 象 不 
同 。 如 果 你 打算 写 一 个 httpd， 自 然 有 人 会 拿 来 和 目前 最 好 的 Nginx 对 比 ， 立 
马 就 能 比 出 性 能 高 低 。 然 而 ， 如 果 你 写 一 个 实现 公司 内 部 业务 的 服务 程序 
(比如 分 布 式 存储 、 搜 索 、 微 博 、 短 网 址 ) ， 由 于 市 面 上 没有 同等 功能 的 
开源 实现 ， 你 不 需要 在 优化 上 投入 全 部 精力 ， 只 要 一 版 做 得 比 一 版 好 就 
行 。 先 正确 实现 所 需 的 功能 ， 投 入 生产 应 用 ， 然 后 再 根据 真实 的 负载 情况 
来 做 优化 ， 这 有 恐怕 比 在 编码 阶段 就 盲目 调 优 要 更 effective 一 些 。 

muduo 的 设计 目标 之 一 是 吞吐 量 能 让 千 焰 以 太 网 饱和 ， 也 就 是 每 秒 收 发 
120MB 数 据 。 这 个 很 容易 就 达到 ， 不 用 任何 特别 的 努力 。 

如 果 确 实在 内 存 带 宽 方 面 遇 到 问题 ， 说 明 你 做 的 应 用 实在 太 critical， 或 
许 应 该 考虑 放 到 Linux kernel 里 边 去 ， 而 不 是 在 用 户 态 党 试 各 种 优化 。 毕 竟 
只 有 把 程序 做 到 kernel 里 才能 真正 实现 zero copy; 否则 ， 核 心态 和 用 户 态 之 
间 始 终 是 有 一 次 内 存 拷贝 的 。 如 果 放 到 kernel 里 还 不 能 满足 需求 ， 那 么 要 么 
自己 写 新 的 kernel， 或 者 直接 用 FPGA 或 ASIC 操 作 network adapter 来 实现 你 的 
“高 性 能 服务 器 ”。 


7.5 ”一 种 自动 反射 消息 类 型 的 Google Protobuf 网 络 
传输 方案 


本 节 假 定 读者 了 解 Google Protocol Buffers 是 什么 ， 这 不 是 一 篇 Protobuf 
入 门 教程 。 本 节 的 示例 代码 位 于 examples/protobuf/codec 。 

本 节 要 解决 的 问题 是 : 通信 双方 在 编译 时 就 共享 proto 文 件 的 情况 下 ， 
接收 方 在 收 到 Protobuf 二 进 制 数据 流 之 后 ， 如 何 自 动 创 建 具体 类 型 的 
Protobuf Message 对 象 ， 并 用 收 到 的 数据 填充 该 Message 对 象 〈 即 反 序 列 
化 ) 。“ 自 动 * 的 意思 是 : 当 程 序 中 新 增 一 个 Protobuf Message 类 型 时 ， 这 部 
分 代码 不 需要 修改 ， 不 需要 自己 去 注册 消息 类 型 。 其 实 ，Google Protobuf 本 
身 具有 很 强 的 反射 (reflection) 功能 ， 可 以 根据 type name 创 建 具体 类 型 的 
Message 对 象 ， 我 们 直接 利用 即 可 。 2 


7.5.1 ”网 络 编程 中 使 用 protobuf 的 两 个 先决 条 件 


Google Protocol Buffers (简称 Protobuf) 是 一 款 非常 优秀 的 库 ， 它 定义 
了 一 种 紧凑 (compact， 相 对 XML 和 JSON 而 言 ) 的 可 扩展 二 进 制 消息 格 
式 ， 特 别 适合 网 络 数据 传输 。 

它 为 多 种 语言 提供 binding， 大 大 方便 了 分 布 式 程序 的 开发 ， 让 系统 不 
再 局 限于 用 某 一 种 语言 来 编写 。 

在 网 络 编程 中 使 用 Protobuf 需 要 解决 以 下 两 个 问题 。 


1. 长 度 ，Protobuf 打 包 的 数据 没有 自 带 长 度 信息 或 终结 符 ， 需 要 由 应 
用 程序 自己 在 发 生 和 接收 的 时 候 做 正确 的 切 分 。 

2. 类 型 ，Protobuf 打 包 的 数据 没有 自 带 类 型 信息 ， 需 要 由 发 送 方 把 类 
型 信息 传 给 给 接收 方 ， 接 收 方 创建 具体 的 Protobuf Message 对 象 ， 再 做 反 序 
列 化 。 


Protobuf 这 么 设计 的 原因 见 下 一 节 。 这 里 第 一 个 问题 很 好 解决 ， 通 常 的 
做 法 是 在 每 个 消息 前 面 加 个 固定 长 度 的 lengthheader， 例 如 87.3 中 实现 的 
LengthHeaderCodec。 第 二 个 问题 其 实 也 很 好 解决 ，Protobuf 对 此 有 内 建 的 支 
持 。 但 是 奇怪 的 是 ， 从 网 上 简单 搜索 的 情况 看 ， 我 发 现 了 很 多 “山寨 ”的 做 
Es 


“山寨 ”做 法 


以 下 均 为 在 Protobuf data 之 前 加 上 header，header 中 包含 消息 长 度 和 类 型 
言 息 。 类 型 信息 的 “山寨 ”做 法 主要 有 两 种 : 


.在 header 中 放 int typeId， 接 收 方 用 switch-case 来 选择 对 应 的 消息 类 型 和 
处 理 函 数 ; 

.在 header 中 放 string typeName， 接 收 方 用 look-up table 来 选择 对 应 的 消息 
类 型 和 处 理 函 数 。 


这 两 种 做 法 都 有 问题 。 

第 一 种 做 法 要 求 保 持 typeId 的 唯一 性 ， 它 和 Protobuf message type 一 一 对 
应 。 如 果 Protobuf message 的 使 用 范围 不 广 ， 比 如 接收 方 和 发 送 方 都 是 自己 
维护 的 程序 ， 那 么 typeId 的 唯一 性 不 难保 证 ， 用 版 本 管理 工具 即 可 。 如 果 
Protobuf message 的 使 用 范围 很 大 ， 比 如 全 公司 都 在 用 ， 而 且 不 同 部 门 开发 
的 分 布 式 程序 可 能 相互 通信 ， 那 么 就 需要 一 个 公司 内 部 的 全 局 机 构 来 分 配 
typeId， 每 次 增加 新 message type 都 要 去 注册 一 下 ， 比 较 麻 烦 。 

第 二 种 做 法 稍 好 一 点 。typeName 的 唯一 性 比较 好 办 ， 因 为 可 以 加 上 
packagename (也 就 是 用 message 的 fully qualified type name) ， 各 个 部 门 事 
先 分 好 namespace， 不 会 冲突 与 重复 。 但 是 每 次 新 增 消息 类 型 的 时 候 都 要 去 
手工 修改 look-up table 的 初始 化 代码 ， 也 比较 麻烦 。 

其 实 ， 不 需要 自己 重新 发 明 轮 子 ，Protobuf 本 身 已 经 自 带 了 解决 方案 。 


7.5.2 ”根据 type name 反 射 自动 创建 Message 对 象 


Google Protobuf 本 身 具有 很 强 的 反射 (reflection) 功能 ， 可 以 根据 type 
name 创 建 具 体 类 型 的 Message 对 象 。 但 是 奇怪 的 是 ， 其 官方 教程 里 没有 明确 
提 及 这 个 用 法 ， 我 估计 还 有 很 多 人 不 知道 这 个 用 法 ， 所 以 觉得 值得 谈 一 
谈 。 

以 下 是 笔者 绘制 的 Protobuf class diagram ( 见 图 7-25) 。 我 估计 大 家 通 
常 关心 和 使 用 的 是 这 个 类 图 的 左 半 部 分 : MessageLite、Message、Generated 
Message Types (Person、AddressBook) 等 ， 而 较 少 注意 到 图 7-25 的 右 半 部 
分 : Descriptor、DescriptorPool、MessageFactoryo 


在 图 7-25 中 ， 起 关键 作用 的 是 Descriptor class， 每 个 具体 Message type 对 
应 一 个 Descriptor 对 象 。 尽 管 我 们 没有 直接 调用 它 的 函数 ， 但 是 Descriptor 在 
“根据 type name 创 建 具 体 类 型 的 Message 对 象 " 中 扮演 了 重要 的 角色 ， 起 了 桥 
梁 作 用 。 图 7-25 中 的 ~ 箭头 描述 了 根据 type name 创 建 具体 Message 对 象 的 过 
程 ， 后 文 会 详细 介绍 。 
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颖 |7-25 


原理 简 述 


Protobuf Message class 采 用 了 Prototype pattern*，Message class 定 义 了 
New0 虚 函数 ， 用 以 返回 本 对 象 的 一 份 新 实体 ， 类 型 与 本 对 象 的 真实 类 型 相 
同 。 也 就 是 说 ， 拿 到 Message* 指 针 ， 不 用 知道 它 的 具体 类 型 ， 就 能 创建 和 
其 类 型 一 样 的 具体 Message type 的 对 象 。 

每 个 具体 Message type 都 有 一 个 default instance， 可 以 通过 
ConcreteMessage::default_instance() 获 得 ， 也 可 以 通过 
MessageFactory::GetPrototype(const Descriptor*) 来 获得 。 所 以 ， 现 在 问题 转 
变 为 : 1. 如 何 拿 到 MessageFactory; 2. 如 何 拿 到 Descriptor*。 

当然 ，ConcreteMessage::descriptor() 返 回 了 我 们 想 要 的 Descriptor*， 但 
是 ， 在 不 知道 ConcreteMessage 的 时 候 ， 如 何 调用 它 的 静态 成 员 遂 数 呢 ?这 
似乎 是 个 鸡 与 蛋 的 问题 。 

我 们 的 英雄 是 DescriptorPool， 它 可 以 根据 type name 查 到 Descriptor* ， 
只 要 找到 合适 的 DescriptorPool， 再 调用 
DescriptorPool::FindMessageTypeByName(const string& type_name) 即 可 。 看 
到 图 7-25 是 不 是 眼前 一 亮 ? 

在 最 终 解决 问题 之 前 ， 先 简单 测试 一 下 ， 看 看 我 上 面 说 得 对 不 对 。 


验证 思路 
本 文 用 于 举例 的 proto 文 件 : 


package muduo; 


message Query { 
required int64 id = 1; 
required string questioner = 2; 


repeated string question = 3; 


} 


message Answer f 
required int64 id = 1; 
required string questioner = 2; 
required string answerer = 3; 


repeated string solution = 4; 


} 


message Empty { 
optional int32 id = 1; 
} 


examples/protobuf/codec/query.proto 


examples/protobuf/codec/query.proto 


其 中 的 Query.questioner 和 Answeranswerer 是 89.4 提 到 的 “分 布 式 系统 中 


的 进程 标识 ”。 


以 下 代码 # 验 证 ConcreteMessage::default_instance()、ConcreteMessage:: 


descriptor()、 MessageFactory::GetPrototype()、 


DescriptorPool::FindMessageTypeByName() 之 间 的 不 变 式 (invariant) ， 注 意 


其 中 的 assert: 


typedef muduo: :Query T; 


std::string type_name = T::descriptor()->full_name(); 
cout << type_name << endl; 


const Descriptor* descriptor 
= DescriptorPool: :generated_pool()->FindMessageTypeByName (type_name); 
assert(descriptor == T::descriptor()); 
cout << "FindMessageTypeByName() = ”<< descriptor << endl; 
cout << "T::descriptor() = ”<< T::descriptor() << endl; 
cout << endl; 


const Message* prototype 

= MessageFactory: :generated_factory()->GetPrototype(descriptor); 
assert(prototype == &T::default_instance()); 
cout << "GetPrototype() ”<< prototype << endl; 
cout << "T::default_instance() " << &T::default_instance() << endl; 
cout << endl; 


Tx new_obj = dynamic_cast<T*>(prototype->New()); 
assert(new_obj != NULL) ; 


assert(new_obj != prototype); 
assert(typeid(x*new_obj) == typeid(T: :default_instance() )); 
cout << "prototype->New() = ”<< new_obj << endl; 


cout << endl; 
delete new_obj ; 


程序 运行 结果 如 下 : 


muduo .Query 
FindMessageTypeByName() = 0xd4e720 
T::descriptor() Oxd4e720 


GetPrototype() = 0xd47710 
T::default_instance() = 0xd47710 


prototype->New() = 0xd459e0 


根据 type name 自 动 创建 Messagee 的 关键 代码 
好 了 ， 万事 俱 备 ， 开 始 行 动 : 


1. 用 DescriptorPool::generated_pool0 找 到 一 个 DescriptorPool 对 象 ， 它 
包含 了 程序 编译 的 时 候 所 链接 的 全 部 Protobuf Message typeso 

2. 根据 type name 用 DescriptorPool::FindMessageTypeByName() 查 找 
Descriptoro 


3. 再 用 MessageFactory::generated_factory() 找 到 MessageFactory 对 象 ， 
它 能 创建 程序 编译 的 时 候 所 链接 的 全 部 Protobuf Message typeso 

4. 然后 ， 用 MessageFactory::GetPrototype() 找 到 具体 Message type 的 
default instanceo 


5. 最后， 用 prototype->NewO 创 建 对 象 。 


示例 代码 如 下 。 


examples/protobuf/codec/codec.cc 
147 Message* createMessage(const std::string& typeName) 


148 { 
149 Message* message = NULL; 
150 const Descriptorx descriptor 
151 = DescriptorPool: :generated_pool()->FindMessageTypeByName (typeName); 
152 if (descriptor) 
153 { 
154 const Message* prototype 
155 = MessageFactory: :generated_factory()->GetPrototype(descriptor); 
156 if (prototype) 
157 
158 message = prototype->New() ; 
159 } 
160 
161 return message; 
162 } 
examples/protobuf/codec/codec.cc 
调用 方式 : 


Message* newQuery = createMessage( "muduo.Query”) ; 

assert(newQuery != NULL); 

assert(typeid(*newQuery) == typeid(muduo: :Query::default_instance())); 
cout << "createMessage(\"muduo.Query\") = ”<< newQuery << endl; 


确实 能 从 消息 名 称 创建 消息 对 象 ， 古 之 人 不 余 欺 也 :-) 

注意 ，createMessage() 返 回 的 是 动态 创建 的 对 象 的 指针 ， 调 用 方 有 责任 
释放 它 ， 不 然 就 会 使 内 存 泄 漏 。 在 muduo 里 ， 我 用 shared_ptr<Message> 来 自 
动 管理 Message 对 象 的 生命 期 。 

拿 到 Message* 之 后 怎么 办 呢 ? 怎么 调用 这 个 具体 消息 类 型 的 处 理 函 
数 ? 这 就 需要 消息 分 发 器 (dispatcher) 出 马 了 ， 且 听 下 回 分 解 。 


线程 安全 性 


Google 的 文档 说 ， 我 们 用 到 的 那 几 个 MessageFactory 和 DescriptorPool 都 
是 线程 安全 的 ，Message::New() 也 是 线程 安全 的 。 并 且 它 们 都 是 const 
member function。 关 键 问 题解 决 了 ， 那 么 剩 下 的 工作 就 是 设计 一 种 包含 长 度 
和 消息 类 型 的 Protobuf 传 输 格 式 。 


7.5.3 ”Protobuf 传 输 格 式 


笔者 设计 了 一 个 简单 的 格式 ， 包 含 Protobuf data 和 其 对 应 的 长 度 与 类 型 
信息 ， 消 息 的 末尾 还 有 一 个 check sum。 格 式 如 图 7-26 所 示 ， 图 中 方块 的 宽 
度 是 32-bit。 


len >= 10 
| EE 
「 nameLen 5=2 
message . 
nameLen bytes, end with \ 0 
name 


性 


len bytes 


protobuf 
data 


(len-nameLen-8) bytes 


了 
checkSum adler32 of above 


图 7-26 


用 C struct 伪 代码 描述 : 
struct ProtobufTransportFormat __attribute__ ((__packed__)) 
{ 


int32_t len; 

int32_t nameLen,; 

char typeName[nameLen]; 

char protobufData[len-nameLen-8]; 


int32_t checkSum; // adler32 of nameLen, typeName and protobufData 


注意 ， 这 个 格式 不 要 求 32-bit 对 齐 ， 我 们 的 decoder 会 自动 处 理 非 对 齐 的 
消息 。 


例子 


用 这 个 格式 打包 一 个 muduo.Query 对 象 的 结果 如 图 7-27 所 示 。 
len | 43 


12 bytes 


43 bytes 


protobuf 


23 bytes 


| checkSum | Ox15C51982 


图 7-27 
设计 决策 
以 下 是 我 在 设计 这 个 传输 格式 时 的 考虑 : 


signed int。 消 息 中 的 长 度 字 段 只 使 用 了 signed 32-bit int， 而 没有 使 用 
unsigned int， 这 是 为 了 跨 语言 移植 性 ， 因 为 Java 语 言 没有 unsigned 类 型 。 另 
外 ，Protobuf 一 般 用 于 打包 小 于 1MB 的 数据 ，unsigned int 也 没 用 。 

:check sum。 虽然 TCP 是 可 靠 传输 协议 ， 虽 然 Ethernet 有 CRC-32 校 验 ， 
但 是 网 络 传输 必须 要 考虑 数据 损坏 的 情况 ， 对 于 关键 的 网 络 应 用 ，check 
sum 是 必 不 可 少 的 。 见 8A.1.13“TCP 的 可 靠 性 有 多 高 ?。 对 于 Protobuf 这 种 紧 
凑 的 二 进 制 格式 而 言 ， 肉 眼看 不 出 数据 有 没有 问题 ， 需 要 用 check sum。 

"adler32 算 法 。 我 没有 选用 常见 的 CRC-32， 而 是 选用 了 adler32， 因 为 它 
的 计算 量 小 、 速 度 比较 快 ， 强 度 和 CRC-32 差 不 多 。 另 外 ，zlib 和 java.unit.zip 
都 直接 支持 这 个 算法 ， 不 用 我 们 自己 实现 。 

-type name 以 \0' 结 束 。 这 是 为 了 方便 troubleshooting， 比 如 通过 tcpdump 
抓 下 来 的 包 可 以 用 肉眼 很 容易 看 出 type name， 而 不 用 根据 nameLen 去 一 个 个 
数字 节 。 同 时 ， 为 了 方便 接收 方 处 理 ， 加 入 了 nameLen， 节 省 了 strlen()， 这 
是 以 空间 换 时 间 的 做 法 。 


.没有 版 本 号 。Protobuf Message 的 一 个 突出 优点 是 用 optional fields 来 避 
免 协议 的 版 本 号 〈 凡 是 在 Protobuf Message 里 放 版 本 号 的 人 都 没有 理解 
Protobuf 的 设计 ， 甚 至 可 能 没有 仔细 阅读 Protobuf 的 文档 aa2) ， 让 通信 双方 
的 程序 能 各 自 升 级 ， 便 于 系统 演化 。 如 果 我 设计 的 这 个 传输 格式 又 把 版 本 
号 加 进去 ， 那 就 画蛇添足 了 。 


Protobuf 可 谓 是 网 络 协议 格式 的 典范 ， 值 得 我 单独 花 一 节 篇 幅 讲 述 其 思 
想 ， 见 89.6.1“ 可 扩展 的 消息 格式 ”。 


7.6 ”在 muduo 中 实现 Protobuf 编 解码 器 与 消息 分 发 器 


本 节 是 前 一 节 的 自然 延续 ， 介 绍 如 何 将 前 文 介绍 的 打包 方案 与 
muduo::net:: Buffer 结 合 ， 实 现 Protobuf codec 和 dispatchero 


在 介绍 codec 和 dispatcher 之 前 ， 先 讲 讲 前 文 的 一 个 未 决 问 题 。 
为 什么 Protobuf 的 默认 序列 化 格式 没有 包含 消息 的 长 度 与 类 型 


Protobuf 是 经 过 深思 熟 虑 的 消息 打包 方案 ， 它 的 默认 序列 化 格式 没有 包 
含 消息 的 长 度 与 类 型 ， 自 然 有 其 道理 。 哪 些 情况 下 不 需要 在 Protobuf 序 列 化 
得 到 的 字 节 流 中 包含 消息 的 长 度 和 (或 ) 类 型 ”我 能 想到 的 答案 有 : 


:如 果 把 消息 写 入 文件 ， 一 个 文件 存 一 个 消息 ， 那 么 序列 化 结果 中 不 需 
要 包含 长 度 和 类 型 ， 因 为 从 文件 名 和 文件 长 度 中 可 以 得 知 消息 的 类 型 与 长 
es 

:如 果 把 消息 写 入 文件 ， 一 个 文件 存 多 个 消息 ， 那 么 序列 化 结果 中 不 需 
要 包含 类 型 ， 因 为 文件 名 就 代表 了 消息 的 类 型 。 

-如果 把 消息 存 入 数据 库 (或 者 NoSQL) ， 以 VARBINARY 字 上段 保 存 ， 
那么 序列 化 结果 中 不 需要 包含 长 度 和 类 型 ， 因 为 从 字段 名 和 字段 长 度 中 可 
以 得 知 消息 的 类 型 与 长 度 。 

:如果 把 消息 以 UDP 方式 发 送 给 对 方 ， 而 且 对 方 一 个 UDP port 只 接收 一 
种 消息 类 型 ， 那 么 序列 化 结果 中 不 需要 包含 长 度 和 类 型 ， 因 为 从 port 和 UDP 
packet 长 度 中 可 以 得 知 消息 的 类 型 与 长 度 。 


如果 把 消息 以 TCP 短 连接 方式 发 给 对 方 ， 而 且 对 方 一 个 TCP port 只 接收 
一 种 消息 类 型 ， 那 么 序列 化 结果 中 不 需要 包含 长 度 和 类 型 ， 因 为 从 port 和 
TCP 字 节 流 长 度 中 可 以 得 知 消息 的 类 型 与 长 度 。 

如果 把 消息 以 TCP 长 连接 方式 发 给 对 方 ， 但 是 对 方 一 个 TCP port 只 接收 
一 种 消息 类 型 ， 那 么 序列 化 结果 中 不 需要 包含 类 型 ， 因 为 port 代 表 了 消息 的 
类 型 。 

:如 果 采 用 RPC 方 式 通 信 ， 那 么 只 需要 告诉 对 方 method name， 对 方 自然 
能 推断 出 Request 和 Response 的 消息 类 型 ， 这 些 可 以 由 protoc 生 成 的 RPC stubs 
自动 搞定 。 


对 于 以 上 最 后 一 点 ， 比 方 说 sudoku.proto 的 定义 是 : 


service SudokuService { 
rpc Solve (SudokuRequest) returns (SudokuResponse); 


} 
那么 RPC method SudokuService.Solve 对 应 的 请 求 和 响应 分 别 是 
SudokuRequest 和 SudokuResponse。 在 发 送 RPC 请 求 的 时 候 ， 不 需要 包含 
SudokuRequest 的 类 型 ， 只 需要 发 送 method name SudokuService.Solve， 对 方 
自然 知道 应 该 按照 SudokuRequest 来 解析 (parse) 请 求 。 

对 于 上 述 这 些 情况 ， 如 果 Protobuf 无 条 件 地 把 长 度 和 类 型 放 到 序列 化 的 
字 节 串 中 ， 只 会 浪费 网 络 带宽 和 存储 。 可 见 Protobuf 默 认 不 发 送 长 度 和 类 型 
是 正确 的 决定 。Protobuf 为 消息 格式 的 设计 树立 了 典范 ， 哪 些 该 自己 搞定 ， 
哪些 留 给 外 部 系统 去 解决 ， 这 些 都 考虑 得 很 清楚 。 

只 有 在 使 用 TCP 长 连接 ， 且 在 一 个 连接 上 传递 不 止 一 种 消息 的 情况 下 
(比方 同时 发 Heartbeat 和 Request/Response) ， 才 需要 我 前 文 提 到 的 那 种 打 
包 方 案 s。 这 时 候 我 们 需要 一 个 分 发 器 dispatcher， 把 不 同类 型 的 消息 分 给 各 

个 消息 处 理 函 数 ， 这 正 是 本 节 的 主题 之 一 。 
以 下 均 只 考虑 TCP 长 连接 这 一 应 用 场景 。 先 谈 谈 编 解码 器 。 


7.6.1 ”什么 是 编 解 码 器 (codec) 


编 解码 器 (codec) * 是 encoder 和 decoder 的 缩写 ， 这 是 一 个 软 硬 件 领 域 
都 在 使 用 的 术语 ， 这 里 我 借 指 “ 把 网 络 数据 和 业务 消息 之 间 互 相 转 换 ” 的 代 
码 。 


在 最 简单 的 网 络 编程 中 ， 没 有 消息 message) ， 只 有 字 节 流 数据 ， 这 
时 候 是 用 不 到 codec 的 。 比 如 我 们 前 面 讲 过 的 echo server， 它 只 需要 把 收 到 
的 数据 原封 不 动 地 发 送 回 去 ， 而 不 必 关 心 消息 的 边界 (也 没有 “消息 ”的 概 
念 ) ， 收 多 少 就 发 多 少 ， 这 种 情况 下 它 干脆 直接 使 用 muduo::net::Buffer， 取 
到 数据 再 交 给 TcpConnection 发 送 回 去 ， 如 图 7-28 所 示 。 


:TcpConnection :EchoServer :Buffer 


handleRead!() 
Ee onMessage(Buffer) 


retrieveAsString() 


msg : string 
send(msg) 


图 7-28 


non-trivial 的 网 络 服务 程序 通常 会 以 消息 为 单位 来 通信 ， 每 条 消息 有 了 明 
确 的 长 度 与 界限 。 程 序 每 次 收 到 一 个 完整 的 消息 的 时 候 才 开始 处 理 ， 发 送 
的 时 候 也 是 把 一 个 完整 的 消息 交 给 网 络 库 。 比 如 我 们 前 面 讲 过 的 asio chat 服 
务 ， 它 的 一 条 聊天 记录 就 是 一 条 消息 。 为 此 我 们 设计 了 一 个 简单 的 消息 格 
式 ， 即 在 聊天 记录 前 面 加 上 4 字 节 的 length header，LengthHeaderCodec 代 码 
及 解说 见 87.3。 

codec 的 基本 功能 之 一 是 做 TCP 分 包 : 确定 每 条 消息 的 长 度 ， 为 消息 划 
分 界限 。 在 non-blocking 网 络 编程 中 ，codec 几 乎 是 必 不 可 少 的 。 如 果 只 收 到 
了 半 条 消息 ， 那 么 不 会 触发 消息 事件 回调 ， 数 据 会 停留 在 Buffer 里 (数据 已 
经 读 到 Buffer 中 了 ) ， 等 待 收 到 一 个 完整 的 消息 再 通知 处 理 孙 数 。 既 然 这 个 
任务 太 常见 ， 我 们 干脆 做 一 个 utility class， 避 免 服 务 端 和 客户 端 程序 都 要 自 
己 处 理 分 包 ， 这 就 有 了 LengthHeaderCodec。 这 个 codec 的 使 用 有 点 奇怪 ， 不 
需要 继承 ， 它 也 没有 基 类 ， 只 要 把 它 当 成 普通 data member 来 用 ， 把 


TcpConnection 的 数据 * 喂 ”给 它 ， 然 后 向 它 注册 onXXXMessage0 回 调 ， 代 码 
见 asio chat 示 例 。muduo 里 的 codec 都 是 这 样 的 风格 : 通过 boost::function 黏 合 
到 一 起 。 
codec 是 一 层 间 接 性 ， 它 位 于 TcpConnection 和 ChatServer 之 间 ， 拦 截 处 

理 收 到 的 数据 (Buffer) ， 在 收 到 完整 的 消息 之 后 ， 解 出 消息 对 象 
(std::string) ， 再 调用 CharServer 对 应 的 处 理 函 数 。 注 意 
CharServer::onStringMessage() 的 参数 是 std::string， 不 再 是 
muduo::net::Buffer， 也 就 是 说 LengthHeaderCodec 把 Buffer 解 码 成 了 string。 
另外 ， 在 发 送 消息 的 时 候 ，ChatServer 通 过 LengthHeaderCodec::send() 来 发 送 
string，LengthHeaderCodec 负 责 把 它 编码 成 Buffer。 这 正 是 “ 编 解码 器 ”名 字 
的 由 来 。 消 息 流 程 如 图 7-29 所 示 。 


:TcpConnection :LengthHeaderCodec :ChatServer 
handleRead() 
La onMessage(Buffer) 
| > gecodel() 
i 


onStrngMessage(string) 


send(string) 


A 


encode!() 


send(Buffen) 


图 7-29 


Protobuf codec 与 此 非常 类 似 ， 只 不 过 消息 类 型 从 std::string 变 成 了 
protobuf::Message。 对 于 只 接收 处 理 Query 消 息 的 QueryServer 来 说 ， 用 
ProtobufCodec 非 常 方便 ， 收 到 protobuf::Message 之 后 向 下 转型 成 Query 来 用 
就 行 〈 见 图 7-30) 。 


:TcpConnection :ProtobufCodec :QueryServer 


handleRead() 
Lo onMessage(Buffer) 
i |_ createMessage() 


pe 


onProtobufMessage(Message) 
down casting to Query 
| send Answer 
send(protobuf::Message) -< 


-i 
encode() 


send(Buffer) 


图 7-30 


如 果 要 接收 处 理 不 止 一 种 消息 ，ProtobufCodec 恐 怕 还 不 能 单独 完成 工 
作 ， 请 继续 阅读 下 文 。 


7.6.2 ”实现 ProtobufCodec 


Protobuf 的 打包 方案 我 已 经 在 前 一 节 中 讲 过 。 编 码 算法 很 直截了当 ， 按 
照 前 文 定义 的 消息 格式 一 路 打包 下 来 ， 最 后 更 新 一 下 首部 的 长 度 即 可 。 代 
码 位 于 examples/protobuf/codec/codec.cc 中 的 
ProtobufCodec::fillEmptyBuffer()。 

解码 算法 有 几 个 要 点 : 


:protobuf::Message 是 new 出 来 的 对 象 ， 它 的 生命 期 如 何 管理 ? muduo 采 
用 shared_ptr<Message> 来 自动 管理 对 象 生命 期 ， 与 整体 风格 保持 一 致 。 

:出 错 如 何 处 理 ? 比方 说 长 度 超出 范围 、check sum 不 正确 、message type 
name 不 能 识别 、message parse 出 错 等 等 。ProtobufCodec 定 义 了 
ErrorCallback， 用 户 代 码 可 以 注册 这 个 回调 。 如 果 不 注册 ， 默 认 的 处 理 是 断 
开 连 接 ， 让 客户 重 连 重 试 。codec 的 单元 测试 里 模拟 了 各 种 出 错 情 况 。 

:如何 处 理 一 次 收 到 半 条 消息 、 一 条 消息 、 一 条 半 消 息 、 两 条 消息 等 等 
情况 ? 这 是 每 个 non-blocking 网 络 程序 中 的 codec 都 要 面 对 的 问题 。 在 此 处 
的 示例 代码 中 我 们 已 经 解决 了 这 个 问题 。 


ProtobufCodec 在 实际 使 用 中 有 明显 的 不 足 : 它 只 负责 把 Buffer 转 换 为 具 
体 类 型 的 Protobuf Message， 每 个 应 用 程序 拿 到 Message 对 象 之 后 还 要 再 根据 
其 具体 类 型 做 一 次 分 发 。 我 们 可 以 考虑 做 一 个 简单 通用 的 分 发 器 
dispatcher， 以 简化 客户 代码 。 

此 外 ， 目 前 ProtobufCodec 的 实现 非常 初级 ， 它 没有 充分 利用 
ZeroCopyInputStream 和 ZeroCopyOutputStream， 而 是 把 收 到 的 数据 作为 byte 
array 交 给 Protobuf Message 去 解析 ， 这 给 性 能 优化 留 下 了 空间 。Protobuf 
Message 不 要 求 数据 连续 ( 像 vector 那 样 ) ， 只 要 求 数 据 分 段 连 续 ( 像 deque 
那样 ) ， 这 给 buffer 管 理 带 来 了 性 能 上 的 好 处 (避免 重新 分 配 内 存 ， 减 少 内 
存 人 碎片 ) ， 当 然 也 使 得 代码 变 得 更 为 复杂 。muduo::net::Buffer 非 常 简 单 ， 它 
内 部 是 vector<char>， 我 目前 不 想 让 Protobuf 影 响 muduo 本 身 的 设计 ， 毕 竟 
muduo 是 个 通用 的 网 络 库 ， 不 是 为 实现 Protobuf RPC 而 特制 的 。 


7.6.3 ”消息 分 发 器 (dispatcher) 有 什么 用 


前 面 提 到 ， 在 使 用 TCP 长 连接 ， 且 在 一 个 连接 上 传递 不 止 一 种 Protobuf 
消息 的 情况 下 ， 客 户 代 码 需 要 对 收 到 的 消息 按 类 型 做 分 发 。 比 方 说 ， 收 到 
Logon 消 息 就 交 给 QueryServer::onLogon0 去 处 理 ， 收 到 Query 消 息 就 交 给 
QueryServer::onQuery() 去 处 理 。 这 个 消息 分 派 机 制 可 以 做 得 稍微 有 点 通用 
性 ， 让 所 有 muduo+Protobuf 程 序 受益 ， 而 且 不 增加 复杂 性 。 

换 句 话说 ， 又 是 一 层 间 接 性 ，ProtobufCodec 拦 截 了 TecpConnection 的 数 
据 ， 把 它 转换 为 Message，ProtobufDispatcher 拦 截 了 ProtobufCodec 的 
callback， 按 消息 具体 类 型 把 它 分 派 给 多 个 callbacks， 如 图 7-31 所 示 。 


:TcpConnection :ProtobufCodec :ProtobufDispatcher :QueryServer 


handleRead() 
Lo onMessage(Buffer) 
> createMessagel() 
1 
取决 于 Message 的 真实 类 型 
- onProtobufMessage(Message) 
一 onLogon(Logon) 
onQuery(Query) 
|_ send Answer 
send(protobuf::Message) -二 
[| 
encode() 
send(Buffer) 
- 
图 7-31 


7.6.4 ”ProtobufCodec 与 ProtobufDispatcher 的 综合 运用 


我 写 了 两 个 示例 代码 ，client 和 server， 把 ProtobufCodec 和 
ProtobufDispatcher 串 联 起 来 使 用 。server 响 应 Query 消 息 ， 发 送 回 Answer 消 
息 ， 如 果 收 到 未 知 消息 类 型 ， 则 断 开 连 接 。dlient 可 以 选择 发 送 Query 或 
Empty 消息 ， 由 命令 行 控制 。 这 样 可 以 测试 unknown message callback。 

为 节省 篇 幅 ， 这 里 就 不 列 出 代码 了 ， 见 
examples/protobuf/codec/{client, server}.cc o 

在 构造 水 数 中 ， 通 过 注册 回调 函数 把 四 方 (TcpConnection、codec、 
dispatcher、QueryServer) 结合 起 来 。 


7.6.5 ”ProtobufDispatcher 的 两 种 实现 


要 完成 消息 分 发 ， 其 实 就 是 对 消息 做 type-switch， 这 似乎 是 一 个 bad 
smell， 但 是 Protobuf Message 的 Descriptor 没 有 留 下 定制 点 (比如 暴露 一 个 
boost::any 成 员 ) ， 我 们 只 好 硬 来 了 。 

先 定义 ProtobufMessageCallback 回 调 : 


typedef boost: :function<void (Message*)> ProtobufMessageCallback: 


注意 ， 本 节 出 现 的 不 是 muduo dispatcher 的 真实 代码 ， 仅 为 示意 ， 突 出 
重点 ， 便 于 画图 。 

ProtobufDispatcherLite 的 结构 非常 简单 ( 见 图 7-32) ， 它 有 一 个 
map<Descriptor*, ProtobufMessageCallback> 成 员 ， 客 户 代 码 可 以 以 
Descriptor* 为 key 注 册 回 调 〈 回 想 : 每 个 具体 消息 类 型 都 有 一 个 全 局 的 
Descriptor 对 象 ， 其 地 址 是 不 变 的 ， 可 以 用 来 当 key) 。 在 收 到 Protobuf 
Message 之 后 ， 在 map 中 找到 对 应 的 ProtobufMessageCallback， 然 后 调用 之 。 
如 果 找 不 到 ， 就 调用 defaultCallback。 


ProtobufDispatcherLite 


map<Descriptor*, ProtobufMessageCallback> 


registerCallback(Descriptor*, ProtobufMessageCallback) 
onMessage(Message* pMsg)o 


boost::function<void (Message")> cb = callbacks [pMsg->GetDescriptor()]; | 
cb(pMsg); 


图 7-32 


不 过 ， 它 的 设计 也 有 小 小 的 缺陷 ， 那 就 是 Protobuf MessageCallback 了 限制 | 
了 客户 代码 只 能 接受 基 类 Message， 客 户 代码 需要 自己 做 向 下 转型 (down 
cast) ， 如 图 7-33 所 示 。 


QueryServer 
Logon”* pL = dynamic_cast<Logon*>(pMsg); 一 

onLogon(Message") 
onQuery(Message”*) O---— -Query pQ = dynamic_cast<Query’>(pMsg); 一 


图 7-33 
如 果 我 希望 QueryServer 这 么 设计 : 不 想 每 个 消息 处 理 函 数 自己 做 down 
cast， 而 是 交 给 dispatcher 去 处 理 ， 客 户 代 码 拿 到 的 就 已 经 是 想 要 的 具体 类 
型 。 接 口 如 图 7-34 所 示 。 


QueryServer | 


onLogon(Logon”) 
onQuery(Query”) 


图 7-34 


那么 该 如 何 实现 ProtobufDispatcher 呢 ? 它 如 何 与 多 个 未 知 的 消息 类 型 合 
作 ? 做 down cast 需 要 知道 目标 类 型 ， 难 道 我 们 要 用 一 长 串 模 板 类 型 参数 
吗 ? 

有 一 个 办 法 ， 把 多 态 与 模板 结合 ， 利 用 templated derived class 来 提供 类 
型 上 的 灵活 性 。 设 计 如 图 7-35 所 示 =。 


* 


ProtobufDispatcher :i Callback 
map<Descriptor’, Callback*> | | 
onMessage(Message”) 
onMessage(Message* pMsg) 
template<typename T> Tis derived from Message 和 ~ 
registerCallback(Descriptor*, CB<T>) | 
CallbackT 


| callback_: boost::function<void(T*)> 


| 

| onMessage(Message" pMs LX 

| ge( ge PMS9) | T* p= dynamic_cast<T*>(pMsg); 
callback_(p); 


图 7-35 


ProtobufDispatcher 有 一 个 模板 成 员 遂 数 ， 可 以 接受 注册 任意 消息 类 型 T 
的 回调 ， 然 后 它 创 建 一 个 模板 化 的 派生 类 CallbackT<T>， 这 样 消 息 的 类 型 
信息 就 保存 在 了 CallbackT<T> 中 ， 做 down cast 就 简单 了 。 

比方 说 ， 我 们 有 两 个 具体 消息 类 型 Query 和 Answer 〈 见 图 7-36) 。 


Message 


| Query Answer 


图 7-36 
然后 我 们 这 样 注册 回 调 : 


dispatcher_.registerMessageCallback<muduo: :Query>( 

boost: :bind(&QueryServer: :onQuery, this, _1, _2, _3)); 
dispatcher_.registerMessageCallback<muduo: :Answer>( 

boost: :bind(&QueryServer::onAnswer, this, _1, _2, _3)); 


这 样 会 具 现 化 (instantiation) 出 两 个 CallbackT 实 体 ， 如 图 7-37 所 示 。 


Callback 


CallbackT :一 -一 -一 -一 -- 一 -二 ---] i 


callback_- boost::function<void(Answer’)> 


onMessage(Message”*) 


图 7-37 


以 上 设计 参考 了 shared_ptr 的 deleter，Scott Meyers 也 谈 到 过 =。 


callback_- boost-:function<void{Query")> 


onMessage(Message”) 


7.6.6 ”ProtobufCodec 和 ProtobufDispatcher 有 何 意义 


ProtobufCodec 和 ProtobufDispatcher 把 每 个 直接 收发 Protobuf Message 的 
网 络 程序 都 会 用 到 的 功能 提炼 出 来 做 成 了 公用 的 utility， 这 样 以 后 新 写 
Protobuf 网 络 程 序 就 不 必 为 打包 分 包 和 消息 分 发 劳 神 了 。 它 俩 以 库 的 形式 存 
在 ， 是 两 个 可 以 拿 来 就 当 data member 用 的 class。 它 们 没有 基 类 ， 也 没有 用 
到 虚 函 数 或 者 别 的 什么 面向 对 象 特征 ， 不 侵入 muduo::net 或 者 你 的 代码 。 如 
果 不 这 么 做 ， 那 将 来 每 个 Protobuf 网 络 程序 都 要 自己 重新 实现 类 似 的 功能 ， 
徒 增 负担 。 

8$9.7“ 分 布 式 程序 的 自动 化 回归 测试 ”会 介绍 利用 Protobuf 的 跨 语言 特 
性 ， 采 用 Java 为 C++ 服务 程序 编写 test harness。 


这 种 编码 方案 的 Java Netty 示 例 代 码 见 
http://github.com/chenshuo/muduo-protorpc 中 的 com.chenshuo.muduo.codec 
packageo 


7.7 ”限制 服务 器 的 最 大 并 发 连接 数 


本 节 以 大 家 都 熟悉 的 EchoServer 为 例 ， 介 绍 如 何 限 制 TCP 服 务 器 的 并 发 
连接 数 。 代 码 见 examples/maxconnection/ 。 

本 节 中 的 “并 发 连接 数 ”是 指 一 个 服务 端 程序 能 同时 支持 的 客户 端 连接 
数 ， 连 接 由 客户 端 主动 发 起 ， 服 务 端 被 动 接 受 (accept(2)) 连接 。 (如 果 要 
限制 应 用 程序 主动 发 起 的 连接 ， 则 问题 要 简单 得 多 ， 毕 竟 主 动 权 和 决定 权 
都 在 程序 本 身 。) 


7.7.1 为 什么 要 限制 并 发 连接 数 


一 方面 ， 我 们 不 希望 服务 程序 超载 ， 另 一 方面 ， 更 因为 fledescriptor 是 
稀缺 资源 ， 如 果 出 现 filedescriptor 耗 尽 ， 很 来 手 ， 跟 “malloc() 失 败 /new 扫 出 
std::bad_alloc” 差 不 多 同样 棘手 。 

我 2010 年 10 月 在 《分 布 式 系统 的 工程 化 开发 方法 》 演 讲 z> 中 曾 谈 到 libev 
的 作者 Marc Lehmann 建 议 的 一 种 应 对 “accept() 时 file descriptor 耗 尽 ” 的 办 法 

在 服务 端 网 络 编程 中 ， 我 们 通常 用 Reactor 模 式 来 处 理 并 发 连接 。 
listening socket 是 一 种 特殊 的 IO 对 象 ， 当 有 新 连接 到 达 时 ， 此 listening 文 件 描 
述 符 变 得 可 读 (POLLIN) ，epoll_wait 返 回 这 一 事件 。 然 后 我 们 用 accept(2) 
系统 调用 获得 新 连接 的 socket 文 件 描 述 符 。 代 码 主 体 逻 辑 如 下 (Python) : 


1 serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
2 serversocket.bind((’'', 2007)) 

3 serversocket.l1isten(5) 

4 serversocket.setblocking(0) 

5 

6 poll = select.poll() # epoll() should work the same 

7 poll.register(serversocket.fileno(), select.POLLIN) 

8 connections = {} 

9 

10 while True: 

11 events = pol1.pol1(10000) # 10 seconds 

12 for fileno, event in events: 

13 if fileno == serversocket.fileno(): 

14 (clientsocket, address) = serversocket.accept() 

15 clientsocket.setblocking(0) 

16 poll.register(clientsocket.fileno(), select.POLLIN) 
17 connections[clientsocket.fileno()] = clientsocket 
18 elif event & select.POLLIN: 


四 


假如 L14 的 accept(2) 返 回 EMFILE 该 如 何 应 对 ? 这 意味 着 本 进程 的 文件 
描述 符 已 经 达到 上 限 ， 无 法 为 新 连接 创建 socket 文 件 描述 符 。 但 是 ， 既 然 没 
有 socket 文 件 描述 符 来 表示 这 个 连接 ， 我 们 就 无 法 close(2) 它 。 程 序 继续 运 
行 ， 回 到 L11 再 一 次 调用 epoll_wait。 这 时 候 epoll_wait 会 立刻 返回 ， 因 为 新 
连接 还 等 待 处 理 ，listening fd 还 是 可 读 的 。 这 样 程序 立刻 就 陷入 了 busy 
loop，CPU 占 用 率 接 近 100%. 这 既 影响 同一 event loop 上 的 连接 ， 也 影响 同一 
机 器 上 的 其 他 服务 。 

该 怎么 办 呢 ? Marc Lehmann 提 到 了 有 几 种 做 法 : 


[ 
‘Oo 


1. 调 高 进程 的 文件 描述 符 数 目 。 治 标 不 治本 ， 因 为 只 要 有 足够 多 的 客 
户 端 ， 就 一 定 能 把 一 个 服务 进程 的 文件 描述 符 用 完 。 

2. 死 等 。 包 乌 算 法 。 

3. 退出 程序 。 似 乎 小 题 大 做 ， 为 了 这 种 暂时 的 错误 而 中 断 现 有 的 服务 
似乎 不 值得 。 

4. 关闭 listening fd。 那 么 什么 时 候 重 新 打开 呢 ? 

5。 改 用 edge trigger。 如 果 漏 掉 了 一 次 accept(2)， 程 序 再 也 不 会 收 到 新 
连接 。 


6. 准备 一 个 空 朵 的 文件 描述 符 。 遇 到 这 种 情况 ， 先 关闭 这 个 空 内 文 
件 ， 获 得 一 个 文件 描述 符 的 名 额 ; 再 accept(2) 拿 到 新 socket 连 接 的 描述 符 ; 
随后 立刻 close(2) 它 ， 这 样 就 优雅 地 断 开 了 客户 端 连 接 ; 最 后 重新 打开 一 个 
空 闪 文件 ， 把 “ 坑 ” 占 住 ， 以 备 下 次 出 现 这 种 情况 时 使 用 。 


第 2、5 两 种 做 法 会 导致 客户 端 认为 连接 已 建立 ， 但 无 法 获得 服务 ， 
为 服务 端 程序 没有 拿 到 连接 的 文件 描述 符 。 

muduo 的 Acceptor 正 是 用 第 6 种 方案 实现 的 ， 见 muduo/net/Acceptorcc 。 但 
是 ， 这 个 做 法 在 多 线程 下 不 能 保证 正确 ， 会 有 race condition。 〈 思 考题: 是 
什么 race condition? ) 

其 实 有 另外 一 种 比较 简单 的 办 法 : fie descriptor 是 hard limit， 我 们 可 以 
自己 设 一 个 稍 低 一 点 的 soft limit， 如 果 超 过 soft limit 就 主动 关闭 新 连接 ， 这 
样 就 可 避免 触及 “file descriptor 耗 尽 ” 这 种 边界 条 件 。 上 比方 说 当前 进程 的 max 
file descriptor 是 1024， 那 么 我 们 可 以 在 连接 数 达到 1000 的 时 候 进 入 “拒绝 新 
连接 ”状态 ， 这 样 就 可 留 给 我 们 足够 的 腾挪 空间 。 


7.7.2 ”在 muduo 中 限制 并 发 连接 数 


在 muduo 中 限制 并 发 连接 数 的 做 法 简单 得 出 奇 。 以 在 86.4.2 的 
EchoServer 为 例 ， 只 需要 为 它 增 加 一 个 int 成 员 ， 表 示 当 前 的 活动 连接 数 。 
(如 果 是 多 线程 程序 ， 应 该 用 muduo::AtomicInt32。 ) 


$ diff examples/simple/echo/echo.h examples/maxconnection/echo.h -u 


--- examples/simple/echo/echo.h 2012-03-14 21:51:13.000000000 +0800 
+++ examples/maxconnection/echo.h 2012-03-11 12:55:44.000000000 +0800 
@@ -8,9 +8,10 @@ 

{ 

public: 


EchoServer (muduo: :net::EventLoop* loop, 
const muduo: :net::InetAddress& listenAddr, 
+ int maxConnections); // kMaxConnections_ = maxConnections 


void start(); 


private: 
void onConnection(const muduo: :net::TcpConnectionPtr& conn); 
Ge -21,6 +22,8 @@ 


muduo: :net::EventLoop* loop_; 
muduo: :net::TcpServer server_; 
+ int numConnected_; // should be atomic_int 


+ Cconst int kMaxConnections_; 


然后 ， 在 EchoServer::onConnection0 中 判断 当前 活动 连接 数 。 如 果 超 过 
最 大 允许 数 ， 则 踢 掉 连接 。 


examples/maxconnection/echo.cc 
void EchoServer::onConnection(const TcpConnectionPtr& conn) 


LOG_INFO << "EchoServer - " << conn->peerAddress() .toIpPort() << ”-> ” 

<< conn->1localAddress() .toIpPort() << ”is ” 
<< (conn->connected() ? “UP”: "DOWN"); 

+ 

+ if (conn->connected()) 

上 攻 

+ ++numConnected_; 

+ if (numConnected_ > kMaxConnections_) // 如 果 超 过 最 大 允许 数 ， 则 跑 掉 连接 

Hs { 

二 conn->shutdown(); 

此 } 

» 

+ else 

+ +{ 

+ --numConnected_; 

十 

+ LOG_INFO << "numConnected = ”<< numConnected_; 


} 


examples/maxconnection/echo.cc 


这 种 做 法 可 以 积极 地 防止 耗 尽 file descriptor。 
另外 ， 如 果 是 有 业务 逻辑 的 服务 ， 则 可 以 在 shutdown(O) 之 前 发 送 一 个 简 
单 的 响应 ， 表 明 本 服务 程序 的 负载 能 力 已 经 饱和 ， 提 示 客 户 端 尝 试 下 一 个 


可 用 的 server (当然 ， 下 一 个 可 用 的 server 地 址 不 一 定 要 在 这 个 响应 里 给 出 ， 
客户 端 可 以 自己 去 name service 查 询 ) ， 这 样 方便 客户 端 快速 failover。 

87.10 将 介绍 如 何 处 理 空 闪 连 接 的 超时 : 如 果 一 个 连接 长 时 间 (若干 
秒 ) 没有 输入 数据 ， 则 踢 掉 此 连接 。 办 法 有 很 多 种 ， 我 用 timing wheel 解 
决 。 


7.8 ”定时 器 


从 本 节 开 始 的 三 节 内 容 都 与 非 阻塞 网 络 编程 中 的 定时 任务 有 关 。 
7.8.1 ”程序 中 的 时 间 


程序 中 对 时 间 的 处 理 是 个 大 问题 ， 在 这 一 节 中 我 先 简要 谈 谈 与 编程 直 
接 相 关 的 内 容 ， 把 更 深入 的 内 容留 给 日 后 日 期 与 时 间 专 题 文章 *， 本 书 不 下 
细 述 。 

在 一 般 的 服务 端 程序 设计 中 ， 与 时 间 有 关 的 常见 任务 有 : 


1. 获取 当前 时 间 ， 计 算 时 间 间 隔 。 

2. 时 区 转换 与 日 期 计算 ; 把 纽约 当地 时 间 转 换 为 上 海 当 地 时 间 ; 2011- 
02-05 之 后 第 100 天 是 几 月 几 号 星期 几 ; 等 等 。 

3. 定时 操作 ， 比 如 在 预定 的 时 间 执 行 任务 ， 或 者 在 一 段 延 时 之 后 执行 


任务 。 


其 中 第 2 项 看 起 来 比较 复杂 ， 但 其 实 最 简单 。 日 期 计算 用 Julian Day 
Number*， 时 区 转换 用 tz databasea ; 唯一 麻烦 一 点 的 是 夏令 时 ， 但 也 可 以 
用 tz database 解 决 。 这 些 操 作 都 是 纯 邹 数 ， 很 容易 用 一 套 单元 测试 来 验证 代 
人 码 的 正确 性 。 需 要 特别 注意 的 是 ， 用 tzset/localtime_r 来 做 时 区 转换 在 多 线程 
环境 下 可 能 会 有 问题 ， 对 此 ， 我 的 解决 办 法 是 写 一 个 TimeZone class， 以 避 

影响 全 局 ， 日 后 在 日 期 与 时 间 专 题 文章 中 会 讲 到 ， 本 书 不 再 细 述 。 下 文 
不 考虑 时 区 ， 均 为 UTC 时 间 。 

真正 打 烦 的 是 第 1 项 和 第 3 项 。 一 方面 ，Linux 有 一 大 把 令 人 眼花 综 乱 的 

与 时 间 相 关 的 函数 和 结构 体 ， 在 程序 中 该 如 何 选 用 ? 另 一 方面 ， 计 算 机 中 


会 漂移 或 跳 变 。 最 后 ， 民 用 的 UTC 时 间 


的 时 钟 不 是 理想 的 计时 器 ， 它 可 能 
得 复杂 和 微妙 。 当 然 ， 与 系统 当前 时 间 有 关 


与 闽 秒 的 关系 也 让 定时 任务 变 
的 操作 也 让 单元 测试 变 得 困难 。 


7.8.2” Linux 时间 半数 
Linux 的 计时 卫 数 ， 用 于 获得 当前 时 间 : 


-time(2) / time_t ( 秒 ) 

ftime(3) / struct timeb (毫秒 ) 
“gettimeofday(2) / struct timeval ( 微 秒 ) 
clock_gettime(2) / struct timespec ( 纳 秒 ) 


还 有 gmtime / localtime / timegm / mktime / strftime / struct tm 等 与 当前 时 
间 无 关 的 时 间 格 式 转换 函数 。 
定时 函数 ， 用 于 让 程序 等 待 一 段 时 间或 安排 计划 任务 : 


'Sleep(3) 

“alarm(2) 

‘usleep(3) 

‘nanosleep(2) 

‘clock_nanosleep(2) 

‘getitimer(2) / setitimer(2) 

:timer_create(2) / timer_settime(2) / timer_ gettime(2) /timer delete(2) 
:timerfd_create(2) /timerfd_gettime(2) / timerfd_settime(2) 


我 的 取舍 如 下 : 


(计时 ) 只 使 用 gettimeofday(2) 来 获取 当前 时 间 。 
(定时 ) 只 使 用 timerfd_* 系 列国 数 来 处 理 定 时 任务 。 


gettimeofday(2) 入 选 原因 (这 也 是 muduo::Timestamp class 的 主要 设计 考 
虑 六 : 


1. time(2) 的 精度 太 低 ，ftime(3) 已 被 废弃 ; clock_gettime(2) 精 度 最 高 ， 
但 是 其 系统 调用 的 开销 比 gettimeofday(2) 大 。 

2. 在 x86-64 平 台 上 ，gettimeofday(2) 不 是 系统 调用 ， 而 是 在 用 户 态 实现 
的 ， 没 有 上 下 文 切 换 和 陷入 内 核 的 开销 =。 

3. gettimeofday(2) 的 分 辨 率 (resolution) 是 1 微 秒 ， 现 在 的 实现 确实 能 
达到 这 个 计时 精度 ， 足 以 满足 日 常 计时 的 需要 。muduo::Timestamp 用 一 个 
int64_t 来 表示 从 Unix Epoch 到 现在 的 微 秒 数 ， 其 范围 可 达 上 下 30 万 年 。 
timerfd * 入 选 的 原因 : 


1. sleep(3) /alarm(2) / usleep(3) 在 实现 时 有 可 能 用 了 SIGALRM 信 号 ， 

在 多 线程 程序 中 处 理 信号 是 个 相当 麻烦 的 事情 ， 应 当 尽 量 避 免 ， 见 $4.10。 
再 说 ， 如 果 主 程序 和 程序 库 都 使 用 SIGALRM， 就 糟 焙 了 。 (为 什么 ? ) 

2. nanosleep(2) 和 clock_nanosleep(2) 是 线程 安全 的 ， 但 是 在 非 阻 塞 网 络 
编程 中 ， 绝 对 不 能 用 让 线程 挂 起 的 方式 来 等 待 一 段 时 间 ， 这 样 一 来 程序 会 
失去 响应 。 正 确 的 做 法 是 注册 一 个 时 间 回 调 函 数 。 

3. getitimer(2) 和 timer_create(2) 也 是 用 信号 来 deliver 超 时 ， 在 多 线程 程 
序 中 也 会 有 麻烦 。timer_create(2) 可 以 指定 信号 的 接收 方 是 进程 还 是 线程 ， 
算是 一 个 进步 ， 不 过 信号 处 理 函 数 (signal handler) 能 做 的 事情 实在 很 受 
限 。 

4. timerfd_create(2) 把 时 间 变 成 了 一 个 文件 描述 符 ， 该 “文件 ”在 定时 器 
超时 的 那 一 刻 变 得 可 读 ， 这 样 就 能 很 方便 地 融入 select(2)/poll(2) 框 架 中 ， 用 
统一 的 方式 来 处 理 IO 事 件 和 超时 事件 ， 这 也 正 是 Reactor 模 式 的 长 处 。 我 在 
以 前 发 表 的 《Linux 新 增 系统 调用 的 启示 》: 中 也 谈 到 了 这 个 想法 ， 现 在 我 
把 这 个 想法 在 muduo 网 络 库 中 实现 了 。 

5。 传统 的 Reactor 利 用 select(2)/poll(2)/epoll(4) 的 timeout 来 实现 定时 功 
能 ， 但 poll(2) 和 epoll_wait(2) 的 定时 精度 只 有 毫秒 ， 远 低 于 timerfd_ settime(2) 
的 定时 精度 。 


必须 要 说 明 ， 在 Linux 这 种 非 实 时 多 任务 操作 系统 中 ， 在 用 户 态 实 现 完 
全 精确 可 控 的 计时 和 定时 是 做 不 到 的 ， 因 为 当前 任务 可 能 会 被 随时 切换 出 
去 ， 这 在 CPU 负载 大 的 时 候 尤为 明显 。 但 是 ， 我 们 的 程序 可 以 尽量 提高 时 
间 精 度 ， 必 要 的 时 候 通 过 控制 CPU 负载 来 提高 时 间 操 作 的 可 靠 性 ， 让 程序 


在 99.99% 的 时 候 都 是 按 预期 执行 的 。 这 或 许 比 换 用 实时 操作 系统 并 重新 编 
写 及 测试 代码 要 经 济 一 些 。 

关于 时 间 的 精度 《accuracy) 问题 我 留 到 日 期 与 时 间 专 题 文 章 中 讨论 ， 
本 书 不 再 细 述 ， 它 与 分 辨 率 (resolution) 不 完全 是 一 回 事 儿 。 时 间 跳 变 和 
闽 秒 的 影响 与 应 对 也 不 在 此 处 展开 讨论 了 。 


7.8.3 muduo 的 定时 器 接口 


muduo EventLoop 有 三 个 定时 器 函数 : 


muduo/net/EventLoop.h 
typedef boost::function<void()> TimerCallback; 


class EventLoop : boost::noncopyable 
{ 

public: 

ri 


// timers 


/// Runs callback at 'time'. 
TimerId runAt(const Timestamp& time, const TimerCallback& cb); 


/// Runs callback after @c delay seconds. 
TimerId runAfter(double delay, const TimerCallback& cb); 


/// Runs callback every @c interval seconds. 
TimerId runEvery(double interval, const TimerCallback& cb); 


/// Cancels the timer. 
void cancel(TimerId timerId) ; 


WE sw 


muduo/net/EventLoop.h 


函数 名 称 很 好 地 反映 了 其 用 途 : 


:runAt 在 指定 的 时 间 调 用 TimerCallback; 
runAfter 等 一 段 时 间 调 用 TimerCallback ; 
:runEvery 以 固定 的 间隔 反复 调用 TimerCallback; 
cancel 取 消 timero 


回调 函数 在 EventLoop 对 象 所 属 的 线程 发 生 ， 与 onMessage()、 
onConnection0) 等 网 络 事件 函数 在 同一 个 线程 。muduo 的 TimerQueue 采 用 了 
平衡 二 叉 树 来 管理 未 到 期 的 timers， 因 此 这 些 操 作 的 事件 复杂 度 是 
O(logN)。 


7.8.4 ”Boost.Asio Timer 示 例 


Boost.Asio 教 程 s 里 以 Timer 和 Daytime 为 例 介 绍 Asio 的 基本 使 用 ， 
daytime 已 经 在 87.1 中 介绍 过 ， 这 里 着 重 谈 谈 Timer。Asio 有 5 个 Timer 示 例 ， 
muduo 把 其 中 四 个 重新 实现 了 一 遍 ， 并 扩充 了 第 5 个 示例 。 


.阻塞 式 的 定时 ，muduo 不 支持 这 种 用 法 ， 无 代码 。 
. 非 阻 塞 定 时 ， 见 examples/asio/tutorial/timer2 。 
.在 TimerCallback 里 传递 参数 ， 见 examples/asio/tutorial/timer3 。 
.以 成 员 水 数 为 TimerCallback， 见 examples/asio/tutorial/timer4 。 

5. 在 多 线程 中 回调 ， 用 mutex 保 护 共享 变量 ， 见 
examples/asio/tutorial/timerS 。 

6. 在 多 线程 中 回调 ， 缩 小 临界 区 ， 把 不 需要 互 斥 执行 的 代码 移出 来 ， 
Wexamples/asio/tutorial/timer6 。 


人 玉 吊装 一 


为 节省 篇 幅 ， 这 里 只 列 出 timer4。 这 个 程序 的 功能 是 以 1 秒 为 间隔 打印 5 
个 整数 ， 乍 看 起 来 代码 有 点 小 题 大 做 ， 但 是 值得 注意 的 是 定时 器 事件 与 IO 
事件 是 在 同一 线程 发 生 的 ， 程 序 就 像 处 理 IO 事 件 一 样 处 理 超 时 事件 。 


examples/asio/tutorial/timer4/timer.cc 
7 class Printer : boost::noncopyable 

8 

9 public: 

10 Printer(muduo: :net: :EventLoop* loop) 

11 : loop_(loop), 

12 count_(0) 

13 { 

14 loop_->runAfter(1, boost::bind(&Printer::print, this)); 

15 } 


17 ~Printer() 

18 { 

19 std::cout << "Final count is ”<< count_ << "\n"; 
20 } 


22 void print() 


24 i (Eonnt.. 5 

25 { 

26 std::cout << count_ << "\n"; 
27 ++count_; 


29 loop_->runAfter(1, boost::bind(&Printer: :print, this)); 
30 } 

31 else 

32 { 

33 loop_->quit(); 

34 } 

35 3} 


37 private: 
38 muduo: :net: :EventLoop* loop.; 
39 int count_; 


42 int main() 

43 { 

44 muduo: :net: :EventLoop loop; 
45 Printer printer(&loop); 

46 loop. 100p(); 


examples/asio/tutoria/timer4/timer.cc 


最 后 我 再 强调 一 遍 ， 在 非 阻塞 服务 端 编程 中 ， 绝 对 不 能 用 sleep0 或 类 似 
的 办 法 来 让 程序 原 地 停留 等 待 ， 这 会 让 程序 失去 响应 ， 因 为 主事 件 循环 被 
去 起 了 ， 无 法 处 理 IO 事 件 。 这 就 像 在 Windows 编 程 中 绝对 不 能 在 消息 循环 里 
执行 耗 时 的 代码 是 一 个 道理 ， 这 会 让 程序 界面 失去 响应 。Reactor 模 式 的 网 
络 编程 确实 有 些 类 似 传统 的 消息 驱动 的 Windows 编 程 。 对 于 “定时 ”任务 ， 把 
它 变 成 一 个 特定 的 消息 ， 到 时 候 触 发 相应 的 消息 处 理 函 数 就 行 了 。 


Boost.Asio 的 timer 示 例 只 用 到 了 EventLoop::runAfter， 我 再 举 一 个 
EventLoop::runEvery 的 例子 。 


7.8.5 ”Java Netty 示 例 


Netty 是 一 个 非常 好 的 Java NIO 网 络 库 ， 它 附带 的 示例 程序 有 echo 和 
discard 两 个 简单 网 络 协 议 。 与 87.1 不 同 ，Netty 版 的 echo 和 discard 服 务 端 有 流 
量 统计 功能 ， 这 需要 用 到 固定 间隔 的 定时 器 (EventLoop::runEvery) 。 

其 dient 的 代码 类 似 前 文 的 chargen， 为 节省 篇 幅 ， 请 阅读 源码 
examples/netty/discard/client.cc 。 

这 里 列 出 discard server 的 完整 代码 。 代 码 整 体 结构 上 与 86.4.2 的 
EchoServer 差 别 不 大 ， 这 算是 简单 网 络 服务 器 的 典型 模式 了 。 

DiscardServer 可 以 配置 成 多 线程 服务 器 ，muduo TcpServer 有 一 个 内 置 的 
one loop per thread 多 线程 IO 模型 ， 可 以 通过 setThreadNum() 来 开启 。 


muduo/examples/netty/discard/server.cc 
19 int numThreads = 0; 


21 Class DiscardServer 


23 public: 

24 DiscardServer(EventLoop* loop, const InetAddress& listenAddr) 

25 : loop_(loop), 

26 server_(loop, listenAddr, "DiscardServer"), 

27 oldCounter_(0) ， 

28 startTime_(Timestamp: :now()) 

29 { 

30 server_.setConnectionCallback( 

31 boost::bind(&DiscardServer: :onConnection, this, _1)); 

32 server_.setMessageCallback( 

33 boost::bind(&DiscardServer::onMessage, this, _1, _2, _3)); 
34 server_.setThreadNum(numThreads); 

35 loop->runEvery(3.0, boost::bind(&DiscardServer::printThroughput, this)); 
36 } 


构造 浮 数 注册 了 一 个 间隔 为 3 秒 的 定时 器 ， 调 用 
DiscardServer::printThroughput() 打 印 出 吞吐 量 。 

消息 回调 只 比 此 处 的 代码 多 两 行 ， 用 于 统计 收 到 的 数据 长 度 和 消息 次 
数 。 


52 void onMessage(const TcpConnectionPtr& conn，Bufferx buf, Timestamp) 
53 { 


54 size_t len = buf->readableBytes(); 
55 transferred_.add(len); 

56 receivedMessages_.incrementAndGet(); 
57 buf->retrieveAll(); 

58 } 


在 每 一 个 统计 周期 ， 打 印 数 据 吞 吐 量 。 
60 void printThroughput() 


61 { 

62 Timestamp endTime = Timestamp: :now(); 

63 int64_t newCounter = transferred_.get() ; 

64 int64_t bytes = newCounter - oldCounter_; 

65 int64_t msgs = receivedMessages_.getAndSet(O0) ; 

66 double time = timeDifference(endTime，startTime_); 

67 printf("%4.3f MiB/s %4.3f Ki Msgs/s %6.2f bytes per msgNn”， 
68 static_cast<double>(bytes)/time/1024/1024, 

69 static_cast<double>(msgs)/time/1024, 

70 static_cast<double>(bytes)/static_cast<double>(msgs)); 
71 

72 oldCounter_ = newCounter; 

73 startTime_ = endTime; 

74 由 


以 下 是 数据 成 员 ， 注 意 用 了 整数 的 原子 操作 AtomicInt64 来 记录 收 到 的 
字 节 数 和 消息 数 ， 这 是 为 了 多 线程 安全 性 。 


76 EventLoop* loop_; 

FY TcpServer Server_; 

78 

79 AtomicInt64 transferred_; 

80 AtomicInt64 receivedMessages_; 
81 int64_t oldCounter._; 

82 Timestamp startTime_; 

入 


main() 冰 数 ， 有 一 个 可 选 的 命令 行 参 数 ， 用 于 指定 线程 数目 。 


85 int main(int argc，charx argv[]) 


86 { 

87 LOG_INFO << "pid = " << getpid() << ", tid = ”<< CurrentThread: :tid(); 
88 if (argc > 1) 

89 { 

90 numThreads = atoi(argv[1]); 

91 } 


92 EventLoop loop; 
93 InetAddress listenAddr(2009) ; 
94 DiscardServer server(&loop, listenAddr); 


96 server.start(); 
98 1oop.1oop() ; 
muduo/examples/netty/discard/server.cc 
运行 方法 ， 在 同一 台 机 器 的 两 个 命令 行 窗口 分 别 运行 : 
# 窗口 1 
$ bin/netty_discard_server 
# 窗口 2 
$ bin/netty_discard_client 127.0.0.1 256 
第 一 个 窗口 显示 吞吐 量 : 


41.001 MiB/s 73.387 Ki Msgs/s 572.10 bytes per msg 
72.441 MiB/s 129.593 Ki Msgs/s 572.40 bytes per msg 
77.724 MiB/s 137.251 Ki Msgs/s 579.88 bytes per msg 


改变 第 二 个 命令 的 最 后 一 个 参数 (上 面 的 256) ， 可 以 观察 不 同 的 消息 
大 小 对 吞吐 量 的 影响 。 

练习 1: 把 二 者 的 关系 绘制 成 函数 曲线 ， 看 看 有 什么 规律 ， 想 想 为 什 
么 。 

练习 2: 在 局 域 网 的 两 台 机 器 上 运行 客户 端 和 服务 端 ， 找 出 让 吞吐 量 达 
到 最 大 的 消息 长 度 。 这 个 数字 与 练习 1 中 的 相 比 是 大 还 是 小 ? 为 什么 ? 

有 兴趣 的 读者 可 以 对 比 一 下 Netty 的 吞吐 量 ，muduo 应 该 能 轻松 取胜 。 

discard client/server 测 试 的 是 单 向 吞吐 量 ，echo client/server 测 试 的 是 双 
向 吞吐 量 。 这 两 个 服务 端 都 支持 多 个 并 发 连接 ， 两 个 客户 端 都 是 单 连 接 
的 。 前 文 86.5 实 现 了 一 个 pingpong 协 议 ， 客 户 端 和 服务 端 都 是 多 连接 ， 用 来 
测试 muduo 在 多 线程 大 量 连接 情况 下 的 性 能 表现 。 


7.9 ”测量 两 全 机 器 的 网 络 延迟 和 时 间 差 


本 节 介 绍 一 个 简单 的 网 络 程 序 roundtrip， 用 于 测量 两 台 机 器 之 间 的 网 络 
延迟 ， 即 “往返 时 间 (round trip time，RTT) ”。 其 主要 考察 定 长 TCP 消 息 的 
分 包 与 TCP_NODELAY 的 作用 。 本 节 的 代码 见 examples/roundtrip/roundtrip.cc 


O 


测量 round trip time 的 办 法 很 简单 : 


:host A 发 一 条 消息 给 host B， 其 中 包含 host A 发 送 消息 的 本 地 时 间 。 
:host 了 B 收 到 之 后 立刻 把 消息 echo 回 host A。 
host A 收 到 消息 之 后 ， 用 当前 时 间 减 去 消息 中 的 时 间 就 得 到 了 round trip 


timeo 


NTP 协 议 的 工作 原理 与 之 类 似 s， 不 过 ， 除 了 测量 round trip time，NTP 
还 需要 知道 两 台 机 器 之 间 的 时 间 差 (clock offset) ， 这 样 才能 校准 时 间 。 

图 7-38 是 NTP 协 议 收 发 消息 的 协议 ，round trip time 二 (Ty 一 Ti ) 一 (Ts 一 
(十 全 ) 一 (十 全) 。NTP 的 要 求 是 往返 路 径 上 的 音 
程 延 迟 要 尽量 相等 ， 这 样 才 能 减少 系统 误差 。 偶 然 误差 由 单程 延迟 的 不 确 
定性 决定 。 


T> )，clock offset= 
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在 我 设计 的 roundtrip 示 例 程序 中 ， 协 议 有 所 简化 ， 如 图 7-39 所 示 。 


client server 


下 Ts 
yy, 
a 
Ty 和 
图 7-39 
计算 公式 如 下 。 
round trip time = 73 — TI 
clock offset = 7> - 


简化 之 后 的 协议 少 取 一 次 时 间 ， 因 为 server 收 到 消息 之 后 立刻 发 送 回 
client， 耗 时 很 少 (若干 微 秒 ) ， 基 本 不 影响 最 终结 果 。 

我 设计 的 消息 格式 是 16 字 节 定 长 消息 ， 如 图 7-40 所 示 。 
=<— 64-bit timestamp 一 


pe 


7 
16 bytes 
了” 


图 7-40 
Tl 和 T, 都 是 muduo::Timestamp， 成 员 是 一 个 int64_t， 表 示 从 Unix 
Epoch 到 现在 的 微 秒 数 。 为 了 让 消息 的 单程 往返 时 间接 近 ，server 和 client 发 
送 的 消息 都 是 16 bytes， 这 样 做 到 对 称 。 由 于 是 定 长 消息 ， 可 以 不 必 使 用 
codec， 在 message callback 中 直接 用 


while (buffer->readableBytes() >= frameLen) { 
i 
} 
就 能 decode。 请 读者 思考 : 如 果 把 while 换 成 if 会 有 什么 后 果 ? 
client 程 序 以 200ms 为 间隔 发 送 消息 ， 在 收 到 消息 之 后 打印 round trip 
time 和 clock offset。 一 次 运作 实例 如 图 7-41 所 示 。 


client server 
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图 7-41 


在 这 个 例子 中 ，dlient 和 server 各 自 的 本 地 时 钟 不 是 完全 对 准 的 ，server 
的 时 间 快 了 850hs， 用 roundtrip 程 序 能 测量 出 这 个 时 间 差 。 有 了 这 个 时 间 
差 ， 就 能 校正 分 布 式 系统 中 测量 得 到 的 消息 延迟 。 

比方 说 以 图 7-41 为 例 ，server 在 它 本 地 1.235000s 时 刻 发 送 了 一 条 消息 ， 
client 在 它 本 地 1.234300s 收 到 这 条 消息 ， 若 直接 计算 的 话 延 迟 是 -700hs。 这 
个 结果 肯定 是 错 的 ， 因 为 server 和 client 不 在 一 个 时 钟 域 (clock domain， 这 
是 数字 电路 中 的 概念 ) ， 它 们 的 时 间 直 接 相 减 无 意义 。 如 果 我 们 已 经 测量 
得 到 serverEbclient 快 850pks， 那 么 用 这 个 数据 做 一 次 校正 : -700 十 850 三 
150hs， 这 个 结果 就 比较 符合 实际 了 。 当然 ， 在 实际 应 用 中 ，clock offset 要 
经 过 一 个 低 通 滤波 才能 使 用 ， 不 然 偶 然 性 太 大 。 

请 读者 思考 : 为 什么 不 能 直接 以 RTT/2 作 为 两 台 机 器 之 间 收 发 消息 的 单 
程 延 迟 ? 这 个 数字 是 偏 大 还 是 偏 小 ? 

这 个 程序 在 局 域 网 中 使 用 没有 问题 ， 如 果 在 广域网 上 使 用 ， 而 且 RTT 大 
于 200ms， 那 么 受 Nagle 算 法 影响 ， 测 量 结果 是 错误 的 。 因 为 应 用 程序 记录 
的 发 包 时 间 与 操作 系统 真正 发 出 数据 包 的 时 间 之 差 不 再 是 一 个 可 以 忽略 的 
小 间隔 。 具 体 分 析 留 作 练 习 ， 这 能 测试 读者 对 Nagle 的 理解 。 这 时 候 我 们 需 
要 设置 TCP_NODELAY 人 参数 ， 让 程序 在 广域网 上 也 能 正常 工作 。 


7.10 ”用 timing wheel 踢 掉 空闲 连接 


本 节 介 绍 如 何 使 用 timing wheel 来 跑 掉 空 闪 的 连接 。 一 个 连接 如 果 若 干 
秒 没有 收 到 数据 ， 就 被 认为 是 空 闪 连接 。 本 文 的 代码 见 
examples/idleconnection 。 

在 严肃 的 网 络 程序 中 ， 应 用 层 的 心跳 协议 是 必 不 可 少 的 。 应 该 用 心跳 
消息 来 判断 对 方 进程 是 否 能 正常 工作 ,“ 踢 掉 空 内 连接 ”只 是 一 时 的 权宜 之 
计 。 我 这 里 想 顺 便 讲 讲 shared_ptr 和 weak_ptr 的 用 法 。 

如 果 一 个 连接 连续 几 秒 (后 文 以 8s 为 例 ) 内 没有 收 到 数据 ， 就 把 它 断 
开 ， 为 此 有 两 种 简单 、 粗 暴 的 做 法 : 


:每 个 连接 保存 “最 后 收 到 数据 的 时 间 ]lastReceiveTime”， 然 后 用 一 个 定时 
器 ， 每 秒 遍 历 一 遍 所 有 连接 ， 断 开 那 些 mow - connection.lastReceiveTime) 之 
8s 的 connection。 这 种 做 法 全 局 只 有 一 个 repeated timer， 不 过 每 次 timeout 都 
要 检查 全 部 连接 ， 如 果 连 接 数目 比较 大 〈 几 千 上 万 ) ， 这 一 步 可 能 会 比较 
费时 。 

:每 个 连接 设置 一 个 one-shot timer， 超 时 定 为 88， 在 超时 的 时 候 就 断 开 
本 连接 。 当 然 ， 每 次 收 到 数据 要 去 更 新 timer。 这 种 做 法 需要 很 多 个 one-shot 
timer， 会 频繁 地 更 新 timers。 如 果 连 接 数目 比较 大 ， 可 能 对 EventLoop 的 
TimerQueue 造 成 压力 。 


使 用 timing wheel 能 避免 上 述 两 种 做 法 的 缺点 。timing wheel 可 以 翻译 为 
“时 间 轮 盘 ? 或 “刻度 盘 "， 本 文保 留 英 文 。 

连接 超时 不 需要 精确 定时 ， 只 要 大 致 8 秒 超时 断 开 就 行 ， 多 一 秒 、 少 一 
秒 关系 不 大 。 处 理 连接 超时 可 用 一 个 简单 的 数据 结构 : 8 个 桶 组 成 的 循环 队 
列 。 第 1 个 桶 放 1 秒 之 后 将 要 超时 的 连接 ， 第 2 个 桶 放 2 秒 之 后 将 要 超时 的 连 
接 。 每 个 连接 一 收 到 数据 就 把 自己 放 到 第 8 个 桶 ， 然 后 在 每 秒 的 timer 里 把 第 
一 个 桶 里 的 连接 断 开 ， 把 这 个 空 桶 挪 到 队 尾 。 这 样 大 致 可 以 做 到 8 秒 没 有 数 
据 就 超时 断 开 连 接 。 更 重要 的 是 ， 每 次 不 用 检查 全 部 的 连接 ， 只 要 检查 第 
一 个 桶 里 的 连接 ， 相 当 于 把 任务 分 散 了 。 


7.10.1 ”timing wheel 原 理 


《Hashed and hierarchical timing wheels: efficient data structures for 
implementing a timer facility》=# 这 篇 论文 详细 比较 了 实现 定时 器 的 各 种 数据 
结构 ， 并 提出 了 层次 化 的 timing wheel 与 hash timing wheel 等 新 结构 。 针 对 本 
节 要 解决 的 问题 的 特点 ， 我 们 不 需要 实现 一 个 通用 的 定时 器 ， 只 用 实现 
simple timing wheel 即 可 。 

simple timing wheel 的 基本 结构 是 一 个 循环 队列 ， 还 有 一 个 指向 队 尾 的 
指针 (tail) ， 这 个 指针 每 秒 移动 一 格 ， 就 像 钟 表 上 的 时 针 ，timing wheel 由 
此 得 名 。 

以 下 是 某 一 时 刻 timing wheel 的 状态 ( 见 图 7-42 的 左 图 ) ， 格 子 里 的 数 
字 是 倒计时 (与 通常 的 timing wheel 相 反 ) ， 表 示 这 个 格子 〈 桶 子 ) 中 连接 
的 剩余 寿命 。 
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1 秒 以 后 〈 见 图 7-42 的 右 图 ) ，tail 指 针 移 动 一 格 ， 原 来 四 点 钟 方向 的 格子 被 
清空 ， 其 中 的 连接 已 被 断 开 。 


连接 超时 被 跑 掉 的 过 程 


假设 在 某 个 时 刻 ，conn 1 到 达 ， 把 它 放 到 当前 格子 中 ， 它 的 剩余 寿命 是 
7 秒 〈 见 图 7-43 的 左 图 ) 。 此 后 conn 1 上 没有 收 到 数据 。1 秒 之 后 〈 见 图 7-43 
的 右 图 ) ，tail 指 向 下 一 个 格子 ，conn 1 的 剩余 寿命 是 6 秒 。 
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图 7-43 


又 过 了 几 秒 ，tail 指 向 conn 1 之 前 的 那个 格子 ，conn 1 即将 被 断 开 〈 见 图 
7-44 的 左 图 ) 。 下 一 秒 ( 见 图 7-44 的 右 图 ) ，tail 重 新 指向 conn 1 原来 所 在 的 
格子 ， 清 空 其 中 的 数据 ， 断 开 conn 1 连接 。 


连接 刷新 


如 果 在 断 开 conn 1 之 前 收 到 数据 ， 就 把 它 移 到 当前 的 格子 里 。conn 1 的 
剩余 寿命 是 3 秒 〈 见 图 7-45 的 左 图 ) ， 此 时 conn 1 收 到 数据 ， 它 的 寿命 恢复 
为 7 秒 ( 见 图 7-45 的 右 图 ) 。 


-一 和 CONN 1 


conn 1 


图 7-45 


时 间 继 续 前 进 ，conn 1 寿命 递减 ， 不 过 它 已 经 比 第 一 种 情况 长 夺 了 ( 见 
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timing wheel 中 的 每 个 格子 是 个 hash set， 可 以 容纳 不 止 一 个 连接 。 

比如 一 开始 ，conn 1 到 达 。 随 后 ，conn 2 到 达 ( 见 图 7-47) ， 这 时 候 tail 
还 没有 移动 ， 两 个 连接 位 于 同一 个 格子 中 ， 具 有 相同 的 剩余 寿命 。 (在 图 7- 
47 中 国 成 链表 ， 人 ) 
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几 秒 之 后 ，conn 1 收 到 数据 ， 而 conn 2 一 直 没 有 收 到 数据 ， 那 么 conn 1 
被 移 到 当前 的 格子 中 。 这 时 conn 1 的 预期 寿命 比 conn 2 长 〈《 见 图 7-48) 。 
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图 7-48 


7.10.2 ”代码 实现 与 改进 


我 们 用 以 前 多 次 出 现 的 EchoServer 来 说 明 具 体 如 何 实现 timing wheel。 
代码 见 examples/idleconnection 。 

在 具体 实现 中 ， 格 子 里 放 的 不 是 连接 ， 而 是 一 个 特制 的 Entry struct， 每 
个 Entry 包 含 TcpConnection 的 weak_ptr。Entry 的 析 构 函数 会 判断 连接 是 否 还 
存在 (用 weak_ptr) ， 如 果 还 存在 则 断 开 连接 。 

数据 结构 : (本 节 的 代码 压缩 了 单行 缩 进 ) 


examples/idleconnection/echo.h 


45 struct Entry : public muduo::copyable // 这 是 一 个 type tag 
46 和 

47 explicit Entry(const WeakTcpConnectionPtr& weakConn) 

48 : weakConn_(weakConn) 

49 L 

50 

51 ~Entry() 

52 

53 muduo: :net::TcpConnectionPtr conn = weakConn_.lock(); 
54 if (conn) 

55 conn->shutdown(); 

56 } 

57 

58 WeakTcpConnectionPtr weakConn_; 

59 2 

60 

61 typedef boost::shared_ptr<Entry> EntryPtr; 

62 typedef boost::weak_ptr<Entry> WeakEntryPtr; 

63 typedef boost::unordered_set<EntryPtr> Bucket; 


64 typedef boost::circular_buffer<Bucket> WeakConnectionList; 
一 examplevidleconnection/echoh 


在 实现 中 ， 为 了 简单 起 见 ， 我 们 不 会 真 的 把 一 个 连接 从 一 个 格子 移 到 

一 个 格子 ， 而 是 采用 5 引用 计数 的 办 法 ， 用 shared_ptr 来 管理 Entry。 如 果 从 
入 用 就 把 对 应 的 EntryPtr 放 到 这 个 格子 里 ， 这 样 它 的 引用 计数 就 

递增 了 。 当 Entry 的 引用 计数 递减 到 零 时 ， 说 明 它 没有 在 任何 一 个 格子 里 出 

现 ， 那 么 连接 超时 ，Entry 的 析 构 遂 数 会 断 开 连 接 。 

注意 在 头 文 件 中 我 们 自己 定义 了 shared_ptr<T> 的 hash 国 数 ， 原 因 是 直到 
Boost 1.47.0 之 前 ，unordered_set<shared_ptr<T> > 虽然 可 以 编译 通过 ， 但 是 
其 hash -Value 是 shared _ptr 隐 式 转换 为 boo] 的 结果 。 也 就 是 说 ， 如 果 不 自 定义 
hash 义 数 ， 那 么 unordered_{set/map} 会 退化 为 链表 。 

timing wheel 用 boost::circular_buffer 实 现 ， 其 中 每 个 Bucket 元 素 是 个 hash 
set of EntryPtro 

在 构造 函数 中 ， 注 册 每 秒 的 回调 (EventLoop::runEvery() 注 册 
EchoServer:: onTimer()) ， 然 后 把 timing wheel 设 为 适当 的 大 小 。 


examples/idleconnection/echo.cc 
15 EchoServer::EchoServer(EventLoop* loop, 


16 const InetAddress& listenAddr, 

17 int idleSeconds) 

18 : loop_(loop), 

19 server_(loop, listenAddr, "EchoServer"), 

20 connectionBuckets_(idleSeconds) 

235 并 

22 server_.setConnectionCallback( 

23 boost::bind(&EchoServer::onConnection, this, _1)); 

24 server_.setMessageCallback( 

25 boost::bind(&EchoServer: :onMessage, this, _1, _2, _3)); 
26 loop->runEvery(1.0, boost::bind(&EchoServer::onTimer, this)); 
PAs connectionBuckets_.resize(idleSeconds) ; 

28 } 


examples/idleconnection/echo.cc 


其 中 ，EchoServer::onTimer() 的 实现 只 有 一 行 : 往 队 尾 添加 一 个 空 的 
Bucket， 这 样 circular_buffer 会 自动 弹出 队 首 的 Bucket， 并 析 构 之 。 在 析 构 
Bucket 的 时 候 ， 会 依次 析 构 其 中 的 EntryPtr 对 象 ， 这 样 Entry 的 引用 计数 就 不 
用 我 们 去 操心 ，C++ 的 值 语 意 会 帮 有 我 们 搞定 一 切 。 


void EchoServer: :onTimer() 


{ 


connectionBuckets_.push_back (Bucket()); 


} 


在 连接 建立 时 ， 创 建 一 个 Entry 对 象 ， 把 它 放 到 timing wheel 的 队 尾 。 另 
外 ， 我 们 还 需要 把 Entry 的 弱 引 用 保存 到 TcpConnection 的 context 里 ， 因 为 在 
收 到 数据 的 时 候 还 要 用 到 Entry。 (思考 题 : 如 果 TcpConnection::setContext 
保存 的 是 强 引 用 EntryPtr， 会 出 现 什么 情况 ? ) 


examples/idleconnection/echo.cc 
36 void EchoServer::onConnection(const TcpConnectionPtr& conn) 


Sr 外 

38 LOG_INFO << "EchoServer - ”<< conn->peerAddress().toIpPort() <<" -> " 
39 << conn->1localAddress() .toIpPort() << ”is " 

40 << (conn->connected() ? "UP”: “DOWN”) ; 

41 

42 if (conn->connected()) 

43 { 

44 EntryPtr entry(new Entry(conn)); 

45 connectionBuckets_.back().insert(entry); 

46 WeakEntryPtr weakEntry(entry); 

47 conn->setContext(weakEntry); 

48 和 

49 else 

50 { 

51 assert(!conn->getContext().empty()); 

52 WeakEntryPtr weakEntry(boost::any_cast<WeakEntryPtr>(conn->getContext())); 
53 LOG_DEBUG << "Entry Use_count = ”<< weakEntry.use_count(); 

54 有， 

55 } 


examples/idleconnection/echo.cc 


在 收 到 消息 时 ， 从 TcpConnection 的 context 中 取出 Entry 的 弱 引 用 ， 把 它 
提升 为 强 引 用 EntryPtr， 然 后 放 到 当前 的 timing wheel 队 尾 。 (思考 题 : 为 什 
么 要 把 Entry 作 为 TcpConnection 的 context 保 存 ， 如 果 这 里 再 创建 一 个 新 的 
Entry 会 有 什么 后 果 ? ) 


examples/idleconnection/echo.cc 
58 void EchoServer::onMessage(const TcpConnectionPtr& conn, 


59 Bufferx buf, 

60 Timestamp time) 

61 { 

62 string msg(buf->retrieveAsString()); 

63 LOG_INFO << conn->name() << ”echo ”<< msg.size() 
64 << " bytes at ”<< time.toString(); 

65 Conn->send(msg) ; 

66 

67 assert(!conn->getContext().empty()); 


68 WeakEntryPtr weakEntry(boost::any_cast<WeakEntryPtr>(conn->getContext())); 
69 EntryPtr entry(weakEntry.1lock()); 


70 if (entry) 
71 connectionBuckets_.back().insert(entry); 


examples/idleconnection/echo.cc 


然后 呢 ? 没有 然后 了 ， 程 序 已 经 完成 了 我 们 想 要 的 功能 。 (完整 的 代 
码 会 调用 dumpConnectionBuckets0 来 打印 circular_buffer 变 化 的 情况 ， 运 行 一 
下 即 可 理解 。) 

希望 本 节 内 容 有 助 于 你 理解 shared_ptr 和 weak_ptr 的 引用 计数 。 


改进 


在 现在 的 实现 中 ， 每 次 收 到 消息 都 会 往 队 尾 添 加 EntryPtr (当然 ，hash 
set 会 帮 有 我 们 去 重 (deduplication) ) 。 一 个 简单 的 改进 措施 是 ， 在 
TcpConnection 里 保存 “最 后 一 次 往 队 尾 添 加 引用 时 的 tail 位 置 >， 收 到 消息 时 
先 检查 tail] 是 否 变化 ， 若 无 变化 则 不 重复 添加 EntryPtr， 若 有 变化 则 把 
EntryPtr 从 旧 的 Bucket 移 到 当前 队 尾 Bucket。 这 样 或 许 能 提高 空间 和 时 间 效 
率 。 以 上 改进 留 作 练习 。 

另外 一 个 思路 是 “选择 排序 ”: 使 用 链表 将 TcpConnection 串 起 来 ， 
TcpConnection 每 次 收 到 消息 就 把 自己 移 到 链表 末尾 ， 这 样 链表 是 按 接收 时 
间 先 后 排序 的 。 再 用 一 个 定时 器 定期 从 链表 前 端 查找 并 踢 掉 超时 的 连接 。 
代码 示例 位 于 同一 目录 。 


7.11 ”简单 的 消息 广播 服务 


本 节 介 绍 用 muduo 实 现 一 个 简单 的 topic-based 消 息 广 播 服务 ， 这 其 实 是 
“聊天 室 ” 的 一 个 简单 扩展 ， 不 过 聊天 的 不 是 人 ， 而 是 分 布 式 系统 中 的 程 
序 。 本 节 的 代码 见 examples/hubo 

在 分 布 式 系 统 中 ， 除 了 常用 的 end-to-end 通 信 ， 还 有 一 对 多 的 广播 通 
信 。 一 提 到 “广播 *， 或 许 会 让 人 联想 到 IP 多 播 或 I1P 组 播 ， 这 不 是 本 节 的 主 
题 。 本 节 将 要 谈 的 是 基于 TCP 协 议 的 应 用 层 广 播 。 示 意图 如 图 7-49 所 示 。 


Publisher Subscriber Subscriber 


pubsub pubsub pubsub 
library library library 
ss 和 a 
图 7-49 


图 7-49 中 的 圆 角 矩形 代表 程序 , “Hub” 是 一 个 服务 程序 ， 不 是 网 络 集 线 
器 ， 它 起 到 类 似 集线器 的 作用 ， 故 而 得 名 。Publisher 和 Subscriber 通 过 TCP 
协议 与 Hub 程 序 通 信 。Publisher 把 消息 发 到 某 个 topic 上 ，Subscriberi 订 阅 该 
topic， 然 后 就 能 收 到 消息 。 即 Publisher 借 助 Hub 把 消息 广播 给 了 一 个 或 多 个 
Subscriber。 这 种 pub/sub 结 构 的 好 处 在 于 可 以 增加 多 个 Subscriber 而 不 用 修改 
Publisher， 一 定 程度 上 实现 了 “和 解 耦 ”( 也 可 以 看 成 分 布 式 的 Observer 
pattern) 。 由 于 走 的 是 TCP 协 议 ， 广 播 是 基本 可 靠 的 ， 这 里 的 “可 靠 ” 指 的 是 
“上 比 UDP 可 靠 ”， 不 是 “完全 可 靠 "。? (思考 : 如 何 避 免 Hub 成 为 single point 
of failure? ) 

为 了 避免 串扰 (cross-talk) ， 每 个 topic 在 同一 时 间 只 应 该 有 一 个 
Publisher，Hub 不 提供 compare-and-swap 操 作 。 

应 用 层 广播 在 分 布 式 系统 中 用 处 很 大 ， 这 里 略 举 几 例 。 

体育 比分 转播 ”有 8 片 比赛 场地 正在 进行 羽毛 球 比 赛 ， 每 个 场地 的 计 分 
程序 把 当前 比分 发 送 到 各 自 的 topic 上 (第 1 号 场地 发 送 到 court1， 第 2 号 场地 
发 送 到 court2， 依 此 类 推 ) 。 需 要 用 到 比分 的 程序 (赛场 的 大 屏幕 显示 、 网 
上 比分 转播 等 ) 自己 订阅 感 兴趣 的 topic， 就 能 及 时 收 到 最 新 比分 数据 。 由 
于 本 节 实 现 的 不 是 100% 可 靠 广 播 ， 那 么 消息 应 该 是 snapshot， 而 不 是 
delta。 ( 换 句 话说 ， 消 息 的 内 容 是 “现在 是 几 比 几 ”， 而 不 是 “刚才 谁 得 
人 

负载 监控 ”每 台 机 器 上 运行 一 个 监控 程序 ， 周 期 性 地 把 本 机 当前 负载 
(CPU、 网 络 、 磁 盘 、 温 度 ) publish 到 以 hostname 命 名 的 topic 上 ， 这 样 需要 
用 到 这 些 数 据 的 程序 只 要 在 Hub 订 阅 相 应 的 topic 就 能 获得 数据 ， 无 须 与 多 台 
机 器 直接 打交道 。 (为 了 可 靠 起 见 ， 监 控 程 序 发 送 的 消息 中 应 该 包含 时 间 


戳 ， 这 样 能 防止 过 期 (stale) 数据 ， 甚 至 一 定 程 度 上 起 到 心跳 的 作用 。) 沿 
着 这 个 思路 ， 分 布 式 系统 中 的 服务 程序 也 可 以 把 自己 的 当前 负载 发 布 到 Hub 
上 ， 供 load balancer 和 monitor 取 用 。 


协议 


为 了 简单 起 见 ，muduo 的 Hub 示 例 采 用 以 “rn>” 分 界 的 文本 协议 ， 这 样 用 
telnet 就 能 测试 Hub。 协 议 只 有 以 下 三 个 命令 : 


“sub <topic>\rn 

该 命令 表示 订阅 <topic>， 以 后 该 topic 有 任何 更 新 都 会 发 给 这 个 TCP 连 
接 。 在 sub 的 时 候 ，Hub 会 把 该 <topic> 上 最 近 的 消息 发 给 此 Subscriber。 

unsub <topic>\rn 

该 命令 表示 退 订 <topic>。 

:pub <topic>\rn<content>\rn 

往 <topic> 发 送 消息 ， 内 容 为 <content>。 所 有 订阅 了 此 <topic> 的 
Subscriber 会 收 到 同样 的 消息 “pub <topic>\r\n<content>\rin”。 


代码 
muduo 示 例 中 的 Hub 分 为 几 个 部 分 : 


.Hub 服 务 程序 ， 负 责 一 对 多 的 消息 分 发 。 它 会 记 住 每 个 client 订 阅 了 哪 
些 topic， 只 把 消息 发 给 特定 的 订阅 者 。 代 码 参 见 examples/hub/hub.cc 。 

.pubsub 库 ， 为 了 方便 编写 使 用 Hub 服 务 的 应 用 程序 ， 我 写 了 一 个 简单 的 
client library， 用 来 和 Hub 打 交道 。 这 个 library 可 以 订阅 topic、 退 订 topic、 往 
指定 的 topic 发 布 消息 。 代 码 参 见 examples/hub/pubsub.{h,cc} 。 

sub 示例 程序 ， 这 个 命令 行程 序 订阅 一 个 或 多 个 topic， 然 后 等 待 Hub 的 
数据 。 代 码 参见 examples/hub/sub.cc 。 

.pub 示例 程序 ， 这 个 命令 行程 序 往 某 个 topic 发 布 一 条 消息 ， 消 息 内 容 由 
命令 行 参 数 指定 。 代 码 参 见 examples/hub/pub.cc 。 


一 个 程序 可 以 既是 Publisher 又 是 Subscriber， 而 且 pubsub 库 只 用 一 个 TCP 
连接 (这 样 failover 比 较 简 便 ) 。 使 用 范例 如 下 所 示 。 


1. 开启 4 个 命令 行 窗口 。 

2. 在 第 一 个 窗口 运行 $ hub 9999。 

3. 在 第 二 个 窗口 运行 $ sub 127.0.0.1:9999 mytopic。 

4. 在 第 三 个 窗口 运行 $ sub 127.0.0.1:9999 mytopic courte 

5. 在 第 四 个 窗口 运行 $ pub 127.0.0.1:9999 mytopic "Hello world."， 这 时 
第 二 、 三 号 窗口 都 会 打印 “mytopic: Hello world.”， 表 明 收 到 了 mytopic 这 个 
主题 上 的 消息 。 

6. 在 第 四 个 窗口 运行 $ pub 127.0.0.1:9999 court "13:11"， 这 时 第 三 号 窗 
口 会 打印 “court: 13:11”， 表 明 收 到 了 court 这 个 主题 上 的 消息 。 第 二 号 窗口 没 
有 订阅 此 消息 ， 故 无 输出 。 


借助 这 个 简单 的 pub/sub 机 制 ， 还 可 以 做 很 多 有 意思 的 事情 。 比 如 把 分 
布 式 系统 中 的 程序 的 一 部 分 end-to-end 通 信 改 为 通过 pub/sub 来 做 (例如 ， 原 
来 是 A 向 B 发 一 个 SOAP request，B 通 过 同一 个 TCP 连 接 发 回 response (分 析 
二 者 的 通信 只 能 通过 查看 log 或 用 tcpdump 截 获 ) ; 现在 是 A 往 topic_a_to_ b 上 


发 布 request，B 在 topic_b to_a 上 发 response) ， 这 样 多 挂 一 个 monitoring 


subscriber 就 能 轻易 地 查看 通信 双方 的 沟通 情况 ， 很 容易 做 状态 监控 与 


trouble Shooting。 
多 线程 的 高 效 广播 


在 本 节 这 个 例子 中 ，Hub 是 个 单线 程 程序 。 假 如 有 一 条 消息 要 广播 给 
1000 个 订阅 者 ， 那 么 只 能 一 个 一 个 地 发 ， 第 1 个 订阅 者 收 到 消息 和 第 1000 个 
订阅 者 收 到 消息 的 时 差 可 以 长 达 知 干 晕 秒 。 那 么 ， 有 没有 办 法 提高 速度 、 
降低 延迟 呢 ? 我 们 当然 会 想到 用 多 线程 。 但 是 简单 的 办 法 并 不 一 定 能 奏 
效 ， 因 为 一 个 全 局 锁 就 把 多 绪 程 程序 退化 为 单线 程 执 行 。 为 了 真正 提速 ， 
我 想到 了 用 thread local 的 办 法 ， 比 如 把 1000 个 订阅 者 分 给 4 个 线程 ， 每 个 线 
程 的 操作 基本 都 是 无 锁 的 ， 这 样 可 以 做 到 并 行 地 发 送 消 息 。 示 例 代 码 见 
examples/asio/chat/server threaded highperformance.cc 。 


7.12 “ 串 并 转换 ”连接 服务 器 及 其 自动 化 测试 


本 节 介 绍 如 何 使 用 test harness 来 测试 一 个 具有 内 部 逻辑 的 网 络 服务 程 
序 。 这 是 一 个 既 扮 演 服务 端 ， 又 扮演 客户 端的 网 络 程序 。 代 码 见 
examples/multiplexer 。 

云 风 在 他 的 博客 中 提 到 了 网 游 连接 服务 器 的 功能 需求 s， 我 用 C++ 初 步 
实现 了 这 些 需 求 ， 并 为 之 编写 了 配套 的 自动 化 test harness， 作 为 muduo 网 络 
库 的 示例 。 

注意 : 本 节 呈 现 的 代码 仅仅 实现 了 基本 的 功能 需求 ， 没 有 考虑 安全 
性 ， 也 没有 特别 优化 性 能 ， 不 适合 用 作 真 正 的 放 在 公 网 上 运行 的 网 游 连接 
服务 器 。 


功能 需求 
这 个 连接 服务 器 把 多 个 客户 连接 汇聚 为 一 个 内 部 TCP 连 接 ， 起 到 “数据 


串 并 转换 ”的 作用 ， 让 backend 的 逻辑 服务 器 专心 处 理 业 务 ， 而 无 须 顾及 多 连 
接 的 并 发 性 。 系 统 的 框图 如 图 7-50 所 示 。 


backend 


这 个 连接 服务 器 的 作用 与 数字 电路 中 的 数据 选择 器 (multiplexer) 类 似 
( 见 图 7-51) ， 所 以 我 把 它 命 名 为 multiplexer。 (其 实 IO multiplexing 也 是 取 
的 这 个 意思 ， 让 一 个 thread-of-control 能 有 选择 地 处 理 多 个 IO 文件 描述 
符 。) 


图 7-50 


OU 七 OU 七 


sel sel: 


图 7-51 (本 图 取 自 wikipedia， 是 public domain 版 权 ) 
实现 


multiplexer 的 功能 需求 不 复杂 ， 无 非 是 在 backend connection 和 client 
connections 之 间 倒 腾 数 据 。 对 每 个 新 client connection 分 配 一 个 新 的 整数 id， 
如 果 id 用 完了 ， 则 上 断 开 新 连接 (这 样 通过 控制 id 的 数目 就 能 控制 最 大 连接 
数 ) 。 另 外 ， 为 了 避免 id 过 快 地 被 复 用 (有 可 能 造成 backend 串 话 ) ， 
multiplexer 采 用 queue 来 管理 free id， 每 次 从 队列 的 头 部 取 id， 用 完 之 后 放 回 
queue 的 尾部 。 具 体 来 说 ， 主 要 是 处 理 四 种 事件 : 


. 当 client connection 到 达 或 断 开 时 ， 向 backend 发 出 通知 。 代 码 见 
onClientConnection()o 

` 当 从 client connection 收 到 数据 时 ， 把 数据 连同 connection id 一 同 发 给 
backend。 代 码 见 onClientMessage0)。 

` 当 从 backend connection 收 到 数据 时 ， 辩 别 数据 是 发 给 哪个 client 
connection， 并 执行 相应 的 转发 操作 。 代 码 见 onBackendMessage0。 

.如 果 backend connection 断 开 连 接 ， 则 断 开 所 有 client connections (假设 
client 会 自动 重 试 ) 。 代 码 见 onBackendConnection()。 


由 上 可 见 ，multiplexer 的 功能 与 proxy 颇 为 类 似 。multiplexer_simple.cc 是 
一 个 单线 程 版 的 实现 ， 借 助 muduo 的 IO mnultiplexing 特 性 ， 可 以 方便 地 处 理 
多 个 并 发 连接 。 多 线程 版 的 实现 见 multiplexer.cc 。 

在 实现 的 时 候 有 以 下 两 点 值得 注意 。 

TcpConnection 的 id 如 何 存放 ? 当 从 backend 收 到 数据 ， 如 何 根据 id 找 
到 对 应 的 client connection? 当 从 client connection 收 到 数据 ， 如 何 得 知 其 id? 


第 一 个 问题 比较 好 解决 ， 用 std::map<int, TcpConnectionPtr> 
clientConns_ 保存 从 id 到 client connection 的 映射 就 行 。 

第 二 个 问题 固然 可 以 用 类 似 的 办 法 解决 ， 但 是 我 想 借 此 介绍 一 下 
muduo::net:: TcpConnection 的 context 功 能 。 每 个 TcpConnection 都 有 一 个 
boost::any 成 员 ， 可 由 客户 代码 自由 支配 (get/set) ， 代 码 如 下 。 这 个 
boost::any 是 TcpConnection 的 context， 可 以 用 于 保存 与 connection 绑 定 的 任意 
数据 (比方 说 connectionid、connection 的 最 后 数据 到 达 时 间 、connection 所 
代表 的 用 户 的 名 字 等 等 ) 。 这 样 客 户 代 码 不 必 继 承 TcpConnection 就 能 attach 
自己 的 状态 ， 而 且 也 用 不 着 TcpConnectionFactory 了 《如 果 人 允许 继承 ， 那 么 
必然 要 向 TcpServer 注 入 此 factory) 。 


一 muduo/net/TcpConnection.h 
class TcpConnection : boost::noncopyable, 
public boost: :enable_shared_from_this<TcpConnection> 


public: 


void setContext(const boost::any& context) 
{ context_ = context; } 


const boost::any& getContext() const 
{ return context_; } 


boost::any* getMutableContext() 
{ return &context_; } 


J i 


private: 
ci 
boost::any context_; 


); 


typedef boost::shared_ptr<TcpConnection> TcpConnectionPtr; 
muduo/net/TcpConnection.h 


对 于 mnultiplexer， 在 onClientConnection0) 里 调用 conn->setContext(id)， 
把 id 存 到 TcpConnection 对 象 中 。onClientMessage() 从 TcpConnection 对 象 中 取 


examples/multiplexer/multiplexer_simple.cc 


117 void onClientMessage(const TcpConnectionPtr& conn, Buffer*x buf, Timestamp) 
118 { 

119 if (!conn->getContext().empty()) 

120 

121 int id = boost::any_cast<int>(conn->getContext()); 
122 sendBackendBuffer(id, buf); 

123 } 

124 else 

125 

126 buf->retrieveAll(); 

127 // error handling 

128 } 

129 } 


examples/multiplexer/multiplexer_simple.cc 


TcpConnection 的 生命 期 如 何 管理 ? 由 于 dlient connection 是 动态 创建 
并 销毁 的 ， 其 生 与 灭 完全 由 客户 决定 ， 如 何 保证 backend 想 向 它 发 送 数据 的 
时 候 ， 这 个 TcpConnection 对 象 还 活着 ? 解决 思路 是 用 reference counting。 当 
然 ， 不 用 自己 写 ， 用 boost::shared_ptr 即 可 。TcpConnection 是 muduo 中 唯一 默 
认 采 用 shared_ptr 来 管理 生命 期 的 对 象 ， 盖 由 其 动态 生命 期 的 本 质 决 定 。 更 
多 内 容 请 参考 第 1 章 。 

multiplexer 采 用 二 进 制 协议 ， 如 何 测试 呢 ? 


自动 化 测试 


multiplexer 是 muduo 网 络 编程 示例 中 第 一 个 具有 non-trivial 业 务 逻 辑 的 网 
络 程 序 ， 根 据 89.7“ 分 布 式 程 序 的 自动 化 回归 测试 "的 思路 ， 我 为 它 编 写 了 测 
试 夹具 (test harness) 。 代 码 见 examples/multiplexer/harness/ 。 

这 个 test harness 采 用 Java 编 写 ， 用 的 是 Netty 网 络 库 。 这 个 test harness 要 
同时 扮演 clients 和 backend， 也 就 是 既 要 主动 发 起 连接 ， 也 要 被 动 接受 连 
接 。 而 且 ，test harness 与 multiplexer 的 启动 顺序 是 任意 的 ， 如 何 做 到 这 一 点 
请 阅读 代码 。 结 构 如 图 7-52 所 示 。 
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图 7-52 


test harness 会 把 各 种 event 汇 聚 到 一 个 blocking queue 里 边 ， 方 便 编写 test 
case。 test case 则 操纵 test harness， 发 起 和 连接、 发 送 数据 、 检 查收 到 的 数据 ， 
例如 以 下 是 其 中 一 个 test case: testcase/TestOneClientSendjava 。 

这 里 的 几 个 test cases 都 是 用 Java 直 接 写 的 ， 如 果 有 必要 ， 也 可 以 采用 
Groovy 来 编写 ， 这 样 可 以 在 不 重启 test harness 的 情况 下 随时 修改 、 添 加 test 
casese。 具体 做 法 见 笔者 的 博客 《“ 过 家 家 ”版 的 移动 离线 计 费 系统 实现 》:。 


将 来 的 改进 


有 了 这 个 自动 化 的 test harness， 我 们 可 以 比较 方便 且 安 全 地 修改 (甚至 
重新 设计 ) multiplexer 了 。 例 如 : 


.增加 “backend 发 送 指令 断 开 client connection” 的 功能 。 有 了 自动 化 测 
试 ， 这 个 新 功能 可 以 被 单独 测试 (开发 者 测试 ) ， 而 不 需要 真正 的 backend 
参与 进来 。 

.将 multiplexer 改 用 多 线程 重 写 。 有 了 自动 化 回归 测试 ， 我 们 不 用 担心 破 
坏 原 有 的 功能 ， 可 以 放心 大 胆 地 重 写 。 而 且 由 于 test harness 是 从 外 部 测试 ， 
不 是 单元 测试 ， 重 写 multiplexer 的 时 候 不 用 动 test cases， 这 样 保证 了 测试 的 
稳定 性 。 另 外 ， 这 个 test harness 稍 加 改进 还 可 以 进行 stress testing， 既 可 用 于 
验证 多 线程 multiplexer 的 正确 性 ， 亦 可 对 比 其 相对 单线 程 版 的 效率 提升 。 


7.13 ”socks4a 代 理 服务 器 


本 节 介 绍 用 muduo 实 现 一 个 简单 的 socks4a 代 理 服 务 器 ( 
testcase/TestOneClientSend.java ) 。 


7.13.1 TCP 中 继 器 


在 实现 socks4a proxy 之 前 ， 我 们 先 写 一 个 功能 更 简单 的 网 络 程序 一 一 
TCP 中 继 器 (TCP relay) ， 或 者 叫做 穷人 的 tcpdump (poor man's 
tcpdump) 。 

一 般 情 况 下 ， 客 户 端 程 序 直接 连接 服务 端 ， 如 图 7-53 所 示 。 


client - server 


图 7-53 


有 了 时候 ， 我 们 想 在 client 和 server 之 间 放 一 个 中 继 器 (relay) ， 把 client 与 
server 之 间 的 通信 和 内容 记录 下 来 。 这 时 用 tcpdump 是 最 方便 省 事 的 ， 但 是 
tcpdump 需 要 root 权 限 ， 万 一 拿 不 到 权限 呢 ? 穷人 有 穷人 的 办 法 ， 自 己 写 一 
个 TcpRelay， 让 client 连 接 TcpRelay， 再 让 TcpRelay 连 接 server， 如 图 7-54 中 
的 TI 型 结构 ，TcpRelay 扮 演 了 类 似 proxy 的 角色 。 


client server 
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图 7-54 


TcpRelay 是 我 们 自己 写 的 ， 可 以 动 动手 脚 。 除 了 记录 通信 内 容 外 ， 还 可 
以 制造 延 时 ， 或 者 故意 翻转 1bit 数 据 以 模拟 router 人 硬件 故障 。 

TcpRelay 的 功能 (业务 逻辑 ) 看 上 去 很 简单 ， 无 非 是 把 连接 C 上 收 到 的 
数据 发 给 连接 S， 同 时 把 连接 S 上 收 到 的 数据 发 给 连接 C。 但 仔细 考虑 起 来 ， 
细节 其 实 不 那么 简单 : 


1. 建立 连接 。 为 了 真实 模拟 client，TcpRelay 在 accept 连 接 C 之 后 才 向 
server 发 起 连接 S， 那 么 在 $ 建 立 起 来 之 前 ， 从 C 收 到 数据 怎么 办 ? 要 不 要 和 暂 
存 起 来 ? 

2. 并 发 连接 的 管理 。 图 7-54 中 只 画 出 了 一 个 client， 实 际 上 TcpRelay 可 
以 服务 多 个 client， 左 右 两 边 这 些 并 发 连接 如 何 管理 ， 如 何 防止 串 话 (cross 
talk) ? 

3. 连接 断 开 。client 和 server 都 可 能 主动 断 开 连接 。 当 client 主 动 断 开 连 
接 C 时 ，TcpRelay 应 该 立刻 断 开 S。 当 server 主 动 断 开 连接 S 时 ，TcpRelay 应 立 
刻 断 开 C。 这 样 才能 比较 精确 地 模拟 client 和 server 的 行为 。 在 关闭 连接 的 一 
刹那 ， 又 有 新 的 client 连 接 进 来 ， 复 用 了 刚刚 close 的 fd 号 码 ， 会 不 会 造成 品 
话 ? 万 一 client 和 server 几 乎 同时 主动 断 开 连接 ，TcpRelay 如 何 应 对 ? 

4. 速度 不 匹配 。 如 果 连 接 C 的 带宽 是 100kB/s， 而 连接 S 的 带宽 是 
10MB/s， 不 巧 server 是 个 chargen 服 务 ， 会 全 速 发 送 数 据 ， 那 么 会 不 会 撑 爆 
TcpRelay 的 buffer? 如 何 限 速 ? 特别 是 在 使 用 non-blocking IO 和 1level-trigger 
polling 的 时 候 如 何 限制 读 取 数据 的 速度 ? 


在 看 muduo 的 实现 之 前 ， 请 读者 思考 : 如 果 用 Sockets API 来 实现 
TcpRelay， 如 何 解 决 以 上 这 些 问 题 。 (如 果真 要 实现 这 么 一 个 功能 ， 可 以 试 
试 splice(2) 系 统 调 用 。 ) 

如 果 用 传统 多 线程 阻塞 IO 的 方式 来 实现 TcpRelay 一 点 也 不 难 ， 好 处 是 自 
动 解决 了 速度 不 匹配 的 问题 ，Python 代 码 如 下 。 这 个 实现 功能 上 没有 问题 ， 
但 是 并 发 度 就 高 不 到 哪儿 去 了 。 注 意 以 下 代码 会 一 个 字 节 一 个 字 节 地 转发 
数据 ， 每 两 个 字 节 之 间 间 隔 1ms， 可 以 用 于 测试 网 络 程序 的 消息 解码 功能 


(codec) 是 否 完善 。 


recipes/python/tcprelay.py 
#!/usr/bin/python 


import socket, thread, time 
listen_port = 3007 


connect_addr = ('localhost’', 2007) 
sleep_per_byte = 0.0001 
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def forward(source, destination): 
source_addr = source.getpeername() 
while True: 
data = source.recv(4096) 
if data: 
for i in data: 
destination. sendall (i) 
time.sleep(sleep_per_byte) 


2 
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else: 
print 'disconnect', source_addr 
destination.shutdown(socket .SHUT_WR) 
break 
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serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 
serversocket.bind(('', listen_port)) 

serversocket.1listen(5) 


NM MN NV 
mp 


while True: 
(clientsocket, address) = serversocket.accept() 
print ‘accepted’', address 
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
sock.connect(connect_addr) 
print 'connected’, sock.getpeername() 
thread.start_new_thread(forward, (clientsocket, sock)) 
thread.start_new_thread(forward, (sock, clientsocket)) 
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- recipes/python/tcprelay.py 


TcpRelay 的 实现 很 简单 ， 只 有 几 十 行 代 码 (examples/socks4a/tcprelay.cc 
) ， 主 要 逻辑 都 在 Tunnel class 里 (examples/socks4a/tunnelh ) 。 这 个 实现 很 
好 地 解决 了 前 三 个 问题 ， 第 四 个 问题 的 解法 比较 粗暴 ， 用 的 是 
HighWaterMarkCallback， 如 果 发 送 缓冲 区 堆积 的 数据 大 于 10MiB 就 断 开 连 
接 (更 好 的 办 法 见 88.9.3) 。TcpRelay 既 是 服务 端 ， 又 是 客户 端 ， 在 阅读 代 
码 的 时 候 要 注意 onClientMessage() 处 理 的 是 从 server 发 来 的 消息 ， 表 示 它 作 
为 客户 端 (dlient) 收 到 的 消息 ， 这 与 前 面 的 multiplexer 正 好 相反 。 


7.13.2 ”socks4a 代 理 服务 器 


socks4a 的 功能 与 TcpRelay 非 常 相似 ， 也 是 把 连接 C 上 收 到 的 数据 发 给 连 
接 S， 同 时 把 连接 S 上 收 到 的 数据 发 给 连接 C。 它 与 TcpRelay 的 区 别 在 于 ， 
TcpRelay 固 定 连 到 某 个 server 地 址 ， 而 socks4a 人 允许 client 指 定 要 连 哪个 
server。 在 accept 连 接 C 之 后 ，socks4a server 会 读 几 个 字 节 ， 以 了 解 server 的 
地 址 ， 再 发 起 连接 S。socks4a 的 协议 非常 简单 ， 请 参考 维基 百科 4。 

muduo 的 socks4a 代 理 服 务 器 的 实现 在 examples/socks4a/socks4a.cc ， 它 也 
使 用 了 Tunnel class。 与 TepRelay 相 比 ， 只 多 了 解析 server 地 址 这 一 步骤 。 目 
前 DNS 地 址 解析 这 一 步 用 的 是 阻塞 的 gethostbyname() 遂 数 ， 在 真正 的 系统 
中 ， 应 该 换 成 非 阻 塞 的 DNS 解 析 ， 可 参考 87.15。muduo 的 这 个 socks4a 是 个 
标准 的 网 络 服务 ， 可 以 供 web 浏 览 器 使 用 (我 正 是 这 么 测试 它 的 ) 。 


7.13.3 N : 1 与 1 : N 连 接 转发 


云 风 在 《 写 了 一 个 proxy 用 途 你 懂 的 》4 中 写 了 一 个 TCP 隧 道 tunnel， 程 
序 由 三 部 分 组 成 : N : 1 连接 转发 服务 ，1 : N 连 接 转 发 服务 ，socks 代 理 服 


O 


以 


我 仿照 他 的 思路 ， 用 muduo 实 现 了 这 三 个 程序 。 不 同 的 是 ， 我 没有 做 数 
据 混 淆 ， 所 以 功能 上 有 所 减弱 。 


.N : 1 连接 转发 服务 就 是 87.12 中 的 multiplexer (数据 选择 器 ) 。 

:1 : N 连 接 转 发 服务 是 云 风 文中 提 到 的 backend， 一 个 数据 分 配器 
(demultiplexer) ， 代 码 在 examples/multiplexer/demux.cc 。 

:socks 代 理 服务 正 是 87.13.2 实 现 的 socks4a。 


有 兴趣 的 读者 可 以 把 这 三 个 程序 级 联 起 来 试 一 试 。 


7.14” 短 址 服务 


muduo 内 置 了 一 个 简陋 的 HTTP 服务 器 ， 可 以 处 理 简 单 的 HTTP 请 求 。 这 
个 HTTP 服务器 是 面向 内 网 的 暴露 进程 状态 的 监控 端口 ， 不 是 面向 公 网 的 功 
能 完善 且 健 壮 的 httpd， 其 接口 与 ]2EE 的 HttpServlet 有 几 分 类 似 。 我 们 可 以 拿 
它 来 实现 一 个 简单 的 短 URL 转 发 服务 ， 以 简要 说 明 其 用 法 。 代 码 位 于 
examples/shorturl/shorturl.cc 。 


examples/shorturl/shorturl.cc 
std::map<string，string> redirections; // URL 转发 表 


void onRequest(const HttpRequest& req, HttpResponse* resp) 
LOG_INFO << "Headers " << req.methodString() << " " << req.path(); 
// TODO: support PUT and DELETE to create new redirections on-the-fly. 


std: :map<string, string>::const_iterator it = redirections.find(req.path()); 
if (it != redirections.end()) // 如 果 找 到 了 短 址 
{ 
resp->setStatusCode(HttpResponse::k301MovedPermanently); 
resp->setStatusMessage("Moved Permanent1ly”) ; 
resp->addHeader ("Location”"，it->second); // 转发 到 it->second 地 址 
// resp->setCloseConnection(true); 


} 


int main() 

{ 
redirections["/1"] 
redirections["/2"] 


"http://chenshuo.com"; 
"http://blog.csdn.net/Solstice"; 


EventLoop loop; 

HttpServer server(&loop, InetAddress(8000), "shorturl"); 
server.setHttpCallback(onRequest); 

server.start(); 

loop. lo0p(); 


examples/shorturl/shorturl.cc 


muduo 并 没有 为 短 连 接 TCP 服 务 优化 ， 无 法 发 挥 多 核 优势 。 一 种 真正 高 
效 的 优化 手段 是 修改 Linux 内 核 ， 例 如 Google 的 SO_REUSEPORT 内 核 补丁 2 

读者 可 以 试 试 建立 一 个 loop 转 发 ， 例 如 “/1”“/2”-“/3” >“/1”"， 看 看 浏 
览 器 反应 如 何 。 


7.15 与 其 他 库 集成 


前 面 介 绍 的 网 络 应 用 例子 都 是 直接 用 muduo 库 收发 网 络 消息 ， 也 就 是 主 
要 介绍 TcpConnection、TcpServer、TcpClient、Buffer 等 class 的 使 用 。 本 节 将 
稍微 深入 其 内 部 ， 介 绍 Channel class 的 用 法 ， 通 过 它 可 以 把 其 他 一 些 现成 的 
网 络 库 融 入 muduo 的 event loop 中 。 

Channel class 是 IO 事件 回调 的 分 发 器 (dispatcher) ， 它 在 handleEvent() 
中 根据 事件 的 具体 类 型 分 别 回 调 ReadCallback、WriteCallback 等 ， 代 码 见 
8$8.1.1。 每 个 Channel 对 象 服 务 于 一 个 文件 描述 符 ， 但 并 不 拥有 fd， 在 析 构 函 
数 中 也 不 会 close(fd)。Channel 也 使 用 muduo 一 贯 的 boost::function 来 表示 函数 
回调 ， 它 不 是 基 类 s。 这 样 用 户 代 码 不 必 继 承 Channel， 也 无 须 override 虚 汤 
数 。 


- muduo/net/Channel.h 
class Channel : boost::noncopyable 

i 

public: 
typedef boost::function<void()> EventCallback; 
typedef boost::function<void(Timestamp)> ReadEventCallback; 


Channel(EventLoop* loop, int fd); 
~Channel(); 


void setReadCallback(const ReadEventCallback& cb); 
void setWriteCallback(const EventCallback& cb) ; 
void setCloseCallback(const EventCal1lback& cb); 
void setErrorCallback(const EventCallback& cb) ; 


void enableReading(); 

// void disableReading(); // 暂时 没有 用 到 
void enableWriting(); 

void disableWriting(); 

void disableAll(); 


void handleEvent(Timestamp receiveTime); // 由 EventLoop::1loop() 调用 
/// Tie this channel to the owner object managed by shared_ptr， 
/// prevent the owner object being destroyed in handleEvent. 


void tie(const boost::shared_ptr<void>&); // tie() 的 例子 见 7.15.3 节 


int fd() const; // obvious 
void remove(); // loop_->removeChannel(this); 


muduo/net/Channel.h 


Channel 与 EventLoop 的 内 部 交互 有 两 个 图 数 
EventLoop::updateChannel(Channel*) 和 


EventLoop::removeChannel(Channel*)。 客 户 需 要 在 Channel 析 构 前 自己 调用 
Channel::removel()o 


后 面 我 们 将 通过 一 些 实例 来 介绍 Channel class 的 使 用 。 
7.15.1 UDNS 


UDNS“ 是 一 个 stubsDNS 解 析 器 ， 它 能 够 异步 地 发 起 DNS 查询 ， 再 通过 
回调 函数 通知 结果 。UDNS 在 设计 的 时 候 就 考虑 到 了 配合 〈 融 入 ) 主 程序 现 
有 的 基于 select/poll/epoll 的 event loop 模 型 ， 因 此 它 与 muduo 的 配 接 相对 较为 
容易 。 由 于 License 限 制 ， 本 节 的 代码 位 于 单独 的 项 目 中 : 
https://github.com/chenshuo/muduo-udns 。 

muduo-udns 由 三 部 分 组 成 ， 一 是 udns-0.2 源 码 s;， 二 是 UDNS 与 muduo 的 
配 接 器 (adapter) ， 即 Resolver class， 位 于 Resolver.{h,cc} ; 三 是 简单 的 测试 
dns.cc ， 展 示 Resolver 的 使 用 。 前 两 部 分 构成 了 muduo-udns 程 序 库 。 

先 看 Resolver class 的 接口 (Resolver.h) : 


class Resolver : boost: :noncopyable 


public: 
typedef boost::function<void(const InetAddress&)> Callback; 


Resolver (EventLoop* loop); 
Resolver(EventLoop* loop, const InetAddress& nameServer); 
~Resolver(); 


void start(); 
bool resolve(const StringPiece& hostname, const Callback& cb); 


i 


其 中 第 一 个 构造 函数 会 使 用 系统 默认 的 DNS 服务 器 地 址 ， 第 二 个 构造 
函数 由 用 户 指明 DNS 服务 器 的 IP 地 址 〈 见 后 面 的 练习 1) 。 用 户 最 关心 的 是 
resolve(0) 丽 数 ， 它 会 回调 用 户 的 Callback。 

在 介绍 Resolver 的 实现 之 前 ， 先 来 看 它 的 用 法 (dns.cc) ， 下 面 这 段 代 
码 同 时 解析 三 个 域名 ， 并 在 stdout 输 出 结果 。 注 意 回 调 函 数 只 提供 解析 后 的 


地 址 ， 因 此 resolveCallback 需 要 自己 设法 记 住 域名 ， 这 里 我 用 的 是 
boost::bindo 


void resolveCallback(const string& host, const InetAddress& addr) 


LOG_INFO << "resolved ”<< host << " -> ”<< addr.toIp(); 


} 
void resolve(Resolver* res, const string& host) 
{ 
res->resolve(host, boost::bind(&resolveCallback, host, _1)); 
} 
int main(int argc, char* argv[]) 
{ 
EventLoop loop; 
Resolver resolver(&]loop); 
resolver .start(); 
resolve(&resolver, "chenshuo.com"); 
resolve(&resolver, "www.example.com"); 
resolve(&resolver, "www.google.com"); 
loop.loop(); // 开始 事件 循环 
} 


由 于 是 异步 解析 ， 因 此 输出 结果 的 顺序 和 提交 请 求 的 顺序 不 一 定 一 
致 ， 例 如 : 


20120822 0@4:46:39.945833Z 15726 INFO resolved www.google.com -> 74.125.71.104 
20120822 04:46:41.9444642Z 15726 INFO resolved chenshuo.com -> 173.212.209.144 
20120822 04:46:42.0680842Z 15726 INFO resolved www.example.com -> 192.0.43.10 


UDNS 与 muduo Resolver 的 交互 过 程 如 下 : 


1. 初始 化 dns_ctx* 之 后 ，Resolver::start() 调 用 dns_open() 获 得 UDNS 使 用 
的 文件 描述 符 ， 并 通过 muduo Channel 观 察 其 可 读 事件 。 由 于 UDNS 始 终 只 
用 一 个 socket fd， 只 观察 一 个 事件 ， 因 此 特别 容易 和 现 有 的 event loop 集 成 。 

2. 在 解析 域名 时 (Resolver::resolve()) ， 调 用 dns_submit_a40) 发 起 解 
析 ， 并 通过 dns_timeouts() 获 得 超时 的 秒 数 ， 使 用 EventLoop::runAfter() 注 册 
单 次 定时 器 回调 。 


3. 在 fd 可 读 时 (Resolver::onRead()) ， 调 用 dns_ioevent()。 如 果 DNS 解 
析 成 功 ， 会 回调 Resolver::dns_query_a40 通 知 解析 的 结果 ， 继 而 调用 
Resolver:: onQueryResult()， 后 者 会 回调 用 户 Callbacko 

4. 在 超时 后 (Resolver::onTimer()) ， 调 用 dns_timeouts()， 必 要 时 继续 
注册 下 一 次 定时 器 回调 。 


可 见 UDNS 是 一 个 设计 良好 的 库 ， 可 与 现 有 的 event loop 很 好 地 结合 。 
UDNS 使 用 定时 器 的 原因 是 UDP 可 能 丢 包 ， 因 此 程序 必须 自己 处 理 超时 重 
传 。 

Resolve class 不 是 线程 安全 的 ， 客 户 代 码 只 能 在 EventLoop 所 属 的 线程 调 
用 它 的 Resolver::resolve() 成 员 遂 数 ， 解 析 结 果 也 是 由 这 个 线程 回调 客户 代 
码 。 这 个 函数 通过 loop_->assertInLoopThread0); 来 确保 不 被 误 用 。 

C++ 程 序 与 C 语 言 水 数 库 交互 的 一 个 难点 在 于 资源 管理 ，muduo-udns 不 
得 已 使 用 了 手工 new/delete 的 做 法 ， 每 次 解析 会 在 堆 上 创建 QueryData 对 象 ， 
这 样 在 UDNS 回 调 Resolver::dns_query_a40 时 才 知 道 该 回调 哪个 用 户 
Callbacko 

练习 1: 补充 构造 国 数 Resolver(EventLoop* loop, const InetAddress&x 
nameServeD 的 实现 。 可 利用 文档 2 介绍 的 dns_add_serv_sO 国 数 。 

练习 2: 用 muduo-udns 改 进 $7.13 的 socks4a 服 务 器 ， 蔡 换 其 中 阻塞 的 
gethostbyname() 遂 数 调 用 ， 实 现 完 全 的 无 阻塞 服务 。 


7.15.2 c-ares DNS 


c-ares DNS 是 一 款 常用 的 异步 DNS 解 析 库 ，386.2 介 绍 了 它 的 安装 方 
法 ， 本 节 将 简要 介绍 其 与 muduo 的 集成 。 示 例 代码 位 于 examples/cdns ， 代 码 
结构 与 37.15.1 的 UDNS 非 常 相似 。Resolver.{hicc} 是 c-ares DNS 与 muduo 的 配 接 
器 (adapter) ， 即 udns::Resolver class; dhs.cc 是 简单 的 测试 ， 展 示 Resolver 
的 使 用 。c-ares DNS 的 选项 非常 钨 ， 本 节 只 是 展示 其 与 muduo EventLoop 集 
成 的 基本 做 法 ，cdns::Resolver 并 没有 暴露 其 全 部 功能 。 

cdns::Resolver 的 接口 和 用 法 与 前 面 UDNS Resolver 相 同 ， 只 是 少 了 start() 
水 数 ， 此 处 不 再 重复 举例 。 

cdns::Resolver 的 实现 与 前 面 UDNS Resolver 很 相似 : 


1. Resolver::resolve() 调 用 ares_gethostbyname() 发 起 解析 ， 并 通过 ares_ 
timeout() 获 得 超时 的 秒 数 ， 注 册 定 时 器 。 

2. 在 fd 可 读 时 (Resolver::onRead()) ， 调 用 ares_process_fd()。 如 果 
DNS 解 析 成 功 ， 会 回调 Resolver::ares_host_callback()# 通 知 解 析 的 结果 ， 继 
而 调用 Resolver::onQueryResult()， 后 者 会 回调 用 户 Callbacko 

3. 在 超时 后 (Resolver::onTimer()) ， 调 用 ares_process_fd() 处 理 这 一 事 
件 ， 并 再 次 调用 dns_timeouts() 获 得 下 一 次 超时 的 间隔 ， 必 要 时 继续 注册 下 
一 次 定时 器 回调 。 


cdns::Resolver 的 线程 安全 性 与 UDNS Resolver 相 同 。 

与 UDNS 不 同 ，c-ares DNS 会 用 到 不 止 一 个 socket 文 件 描述 符 ， 而 且 既 
会 用 到 fd 可 读 事件 ， 又 会 用 到 fd 可 写 事 件 ， 因 此 cdns::Resolver 的 代码 比 
UDNS 要 复杂 一 些 。Resolver: :ares_sock_create_callback() 是 新 建 socket fd 的 回 
调 国 数 ， 其 中 会 调用 Resolver::onSockCreate0) 来 创建 Channel 对 象 ， 这 正 是 
Resolver 没 有 start0 成 员 函 数 的 原因 。Resolver::ares_sock_state_callback0O 是 变 
更 socket fd 状态 的 回调 函数 ， 会 通知 该 观察 哪些 IO 事件 〈 可 读 and/or 可 
go 

练习 3: 阅读 源码 并 测试 c-ares DNS 什么 时 候 需 要 观察 “fd 可 与 ?事件 ， 然 
后 补充 完整 Resolver::onSockStateChange()。 

练习 4: 修改 Callback 的 原型 ， 让 Resolver 能 返回 地 址 列表 

(std::vector<InetAddress>) ， 这 个 练习 同样 适用 于 87.15.1 的 UDNS。 

练习 5: 为 libunboundzs 编 写 类 似 的 muduo adapter。 注 意 它 似乎 没有 使 用 

timeout， 很 奇怪 。 


7.15.3 curl 


libcurl 是 一 个 常用 的 HTTP 客 户 端 库 s， 可 以 方便 地 下 载 HTTP 和 HTTPS 
数据 。libcurl 有 两 套 接口 ，easy 和 multi， 本 节 介 绍 的 是 使 用 其 multi 接 口 < 以 
达到 单线 程 并 发 访问 多 个 URL 的 效果 。muduo 与 libcurl 搭 配 的 例子 见 
examples/curl ， 其 中 包含 单线 程 多 连接 并 发 下 载 同 一 文件 的 示例 ， 即 单线 程 
实现 的 “多 线程 下 载 器 ”。 


libcurl 融 入 muduo EventLoop 的 复杂 度 比 前 面 两 个 DNS 库 都 更 高 ， 一 方 
面 因 为 它 本 身 的 功能 丰富 ， 另 一 方面 也 因为 它 的 接口 设计 更 偏重 传统 阻塞 
IO ( 它 原本 是 从 curl(1) 这 个 命令 行 工具 剥离 出 来 的 ) ， 在 事件 驱动 方面 的 调 
用 、 回 调 、 传 参 都 比较 烦琐 。 这 里 不 去 详细 解释 每 一 个 函数 的 作用 ， 想 必 
读者 在 读 过 前 两 节 之 后 已 经 对 Channel 的 用 法 有 了 基本 的 了 解 ， 对 照 libcurl 
文档 和 muduo 代 码 就 能 搞 明 白 。 

练习 6: 修改 curl::Request::DataCallback 的 原型 ， 改 为 以 muduo::net:: 
Buffer* 为 参数 ， 方 便 用 户 使 用 。 这 需要 在 curl::Request 中 增加 Buffer 成 员 。 

第 1 章 我 们 探讨 了 多 线程 程序 中 的 对 象 生 命 期 管理 技术 。 在 单线 程 事 件 
驱动 的 程序 中 ， 对 象 的 生命 期 管理 有 时 也 不 简单 。 比 方 说 图 7-55 展 示 的 例 
子 ， 对 方 断 开 TCP 连 接 ， 这 个 IO 事件 会 触发 Channel::handleEventO 调 用 ， 后 
者 会 回调 用 户 提供 的 CloseCallback， 而 用 户 代 码 在 onClose0) 中 有 可 能 析 构 
Channel 对 象 ， 这 就 造成 了 灾难 。 等 于 说 Channel::handleEventO 执 行 到 一 半 的 
时 候 ， 其 所 属 的 Channel 对 象 本 身 被 销毁 了 。 这 时 程序 立刻 core dump 就 是 最 
好 的 结果 了 。 


EventLoop Channel Request 
loop() 
EE > = 
handleEvent() 
p> 5 
onClose() 
removeChannel() 
0 
delete 
-器 
2 
图 7-55 


muduo 的 解决 办 法 是 提供 Channel::tie(const boost::shared_ptr<void>&) 这 
个 函数 ， 用 于 延长 某 些 对 象 = 的 生命 期 ， 使 之 长 过 Channel::handleEvent0 辑 
数 。 这 也 是 muduo TcpConnection 采 用 shared_ptr 管 理 对 象 生 命 期 的 原因 之 


一 ; 否则 的 话 ，Channel::handleEvent() 有 可 能 引发 TcpConnection 析 构 ， 继 而 
把 当前 Channel 对 象 也 析 构 了 ，5 引 起 程序 朋 溃 。 

第 三 方 库 与 nuduo 集 成 的 另外 一 个 问题 是 对 IO 事件 变化 的 理解 可 能 不 一 
致 。 拿 libcurl 来 说 ， 它 会 在 某 个 文件 描述 符 需 要 关注 的 IO 事件 发 生变 化 的 时 
候 通 知 外 围 的 event loop 库 ， 比 方 说 原来 关注 POLLIN， 现 在 关注 (POLLIN | 
POLLOUT)，muduo 在 Curl::socketCallback 回 调 函 数 中 会 相应 地 调用 
Channel::enableWriting()， 能 正确 处 理 这 种 变化 。 

不 乎 的 是 ，libcurl 在 与 cares DNS 配 合 s 的 时 候 会 出 现 与 muduo 不 兼容 的 
现象 。libcurl 在 访问 URL 的 时 候 先 要 解析 其 中 的 域名 ， 然 后 再 对 那个 Web 服 
务 器 发 起 TCP 连 接 。 在 与 cares DNS 搭 配 时 会 出 现 一 种 情况 : c-ares DNS 解 
析 域 名 用 到 的 与 DNS 服务 器 通信 的 socket fd; 和 libcurl 对 Web 服 务 器 发 起 TCP 
连接 的 fd, 恰好 相等 ， 即 fdi == fd, 。 原 因 是 POSIX 操 作 系统 总 是 选用 当前 最 
小 可 用 的 文件 描述 符 ， 当 DNS 解 析 完 成 后 ，libcurl 内 部 使 用 的 c-ares DNS 会 
关闭 fdi ，libcurl 随 后 再 立刻 新 建 一 个 TCP socket fd ， 它 有 可 能 恰好 复 用 了 
fd 的 值 。 

但 这 时 libcurl 不 会 认为 文件 描述 符 或 其 关注 的 IO 事 件 发 生 了 变化 ， 也 就 
不 会 通知 muduo 去 销毁 并 新 建 Channel 对 象 。 这 种 做 法 与 传统 的 基于 select(2) 
和 poll(2) 的 event loop 配 合 不 会 有 问题 ， 因 为 select(2) 和 poll(2) 是 上 下 文 无 关 
的 ， 每 次 都 从 输入 重建 要 关注 的 文件 描述 符 列 表 。 但 是 在 与 epoll(4) 配 合 的 
时 候 就 有 问题 了 ， 关 闭 fd; 会 使 得 epoll 从 关注 列表 (watch lisb 中 移 除 fdi 的 
条 目 ， 新 建 的 同名 fd, 却 没有 机 会 加 入 IO 事件 watch list， 也 就 不 会 收 到 任何 
IO 事件 通知 。 这 个 问题 无 法 在 muduo 内 部 修复 ， 只 能 修改 上 游 的 程序 库 。 

另外 一 个 问题 是 libcurl 在 通知 muduo 取 消 关 注 某 个 fd 的 时 候 已 经 事先 关 
闭 了 它 ， 这 将 造成 muduo 调 用 ::epoll_ctl(epollfd_, EPOLL_CTL_DEL, fd, 
NULL) 时 会 返回 错误 ， 因 为 关闭 文件 描述 符 已 经 就 把 它 从 epoll watch list 中 
除 掉 了 。 为 了 应 对 这 种 情况 ， 我 不 得 已 更 改 了 EPollPoller::update() 的 错误 处 


理 ， 放 宽 检 查 。 


7.15.4 ”更 多 


除了 前 面 举 的 几 个 例子 ，muduo 当 然 还 可 以 将 其 他 涉及 网 络 IO 的 库 融 入 
其 EventLoop/Channel 框 架 ， 我 能 想到 的 有 : 


-libmicrohttpd 一 一 可 司 入 的 HTTP 服 务 器 。 
“libpg PostgreSQL 的 官方 客户 端 库 。 
ibdrizzle 一 MySQL 的 非 官 方 客户 端 库 。 
-QuickFIX 一 一 常用 的 FIX 消 息 库 。 


在 有 具体 应 用 场景 的 时 候 ， 我 多 半 会 为 之 提供 muduo adapter， 也 欢迎 
用 户 贡献 有 关 补 丁 。 

另外 一 个 扩展 思路 是 ， 对 每 个 TCP 连 接 创建 一 个 lua state， 用 muduo 为 
lua 提 供 通 信 机 制 。 然 后 用 lua 来 编写 业务 有 逻辑， 这 也 可 以 做 到 在 线 更 改 逻 辑 
而 不 重启 进程 。 就 像 OpenResty 了 ?和 云 风 的 skynet# 那 样 。 这 种 做 法 还 可 以 利 
用 coroutine 来 简化 业务 逻辑 的 实现 。 


http://en.wikipedia.org/Wwiki/ROT13 

此 处 L40。 

此 处 ，time 示 例 中 的 L36。 

假设 两 个 线程 同时 各 自发 送 了 一 条 任意 长 度 的 消息 ， 那 么 这 两 条 消息 a、b 的 发 送 顺序 要 么 是 
b， 要 么 是 先 b 后 a， 不 会 出 现 “a 的 前 一 半 ，b，a 的 后 一 半 ” 这 种 交织 情况 。 

代码 位 于 muduo/base/StringPiece.h。 

目前 的 实现 尚未 照 此 办 理 。 

我 用 Java 实 现 了 压力 测试 ， 代 码 位 于 examples/filetransfer/loadtest 。 

提示 : 在 read(2) 返 回 0 的 时 候 会 回调 connection callback， 这 样 客户 代码 就 知道 对 方 断 开 连 接 
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http://www.cnblogs.com/Solstice/archive/2011/02/02/1948839.html#2022206 
我 暂时 没有 把 标准 输入 输出 融入 Reactor 的 想法 ， 因 为 服务 器 程序 很 少 用 到 stdin 和 stdouto 
http://www.kegel.com/c10k.html 
http://pod.tst.eu/http://cvs.schmorp.de/libev/ev.pod#THREADS AND COROUTINES 
http://sheddingbikes.com/posts/1280829388.html 


readFd(O) 是 最 内 层 函 数 ， 其 在 每 个 IO 线程 的 最 大 stack 空 间 开 销 是 固定 的 64KiB ， 与 连接 数目 
无 关 。 如 果 stack 空 间 紧 张 ， 也 可 以 改 用 thread local 的 extrabuf， 但 是 不 能 全 局 共享 一 个 extrabuf。 (为 
什么 ? ) 


15 
http://code.google.com/p/protobuf/source/browse/tags/2.4.0a/src/google/protobuf/stubs/stl util-inLh#60 

16 ”在 不 考虑 jumbo frame 的 情况 下 ， 计 算 过 程 是 : 对 于 千 净 以 太 网 ， 每 秒 能 传输 1000Mbit 数 
据 ， 即 125000000B/s， 每 个 以 太 网 frame 的 固定 开销 有 : preamble (8B) 、MAC (12B) 、type 
(2B) 、payload (46B~1500B) 、CRC (4B) 、gap (12B) ， 因 此 最 小 的 以 太 网 帧 是 84B， 每 秒 可 


户 | 请 | 王 | 一 | 王 ID 
rule 


发 送 约 1488000 帧 (换言之 ， 对 于 一 问 一 答 的 RPC、 其 qps 上 限 约 是 700k/s) ， 最 大 的 以 太 网 帧 是 
1538B， 每 秒 可 发 送 81274 帧 。 再 来 算 TCP 有 效 载荷 ; 一 个 TCP segment 包 含 ITP header (20B) 和 TCP 
header (20B) ， 还 有 Timestamp option (12B) ， 因 此 TCP 的 最 大 吞吐 量 是 81274x(1500-52) 二 
117MB/s， 合 112MiB/s。 实 测 见 87.8.5。 

17 ”Protobuf C++ 库 的 反射 能 力 不 止 于 此 ， 它 可 以 在 运行 时 读 入 并 解析 任意 proto 文 件 ， 然 后 分 
析 其 对 应 的 二 进 制 数据 。 有 兴趣 的 读者 请 参考 王 益 的 博客 
http vi blogspot.com/2010/06/google-protocol-buffers-proto.html 。 

http://en.wikipedia.org/wiki/Prototype_pattern 


TT recipes/protobuf/descriptor test.cc 

20 http://code.google.com/apis/protocolbuffers/docs/overview.html Abit of history” 

21 http://code.google.com/apis/protocolbuffers/docs/proto.html#updating 

22 http://code.google.com/apis/protocolbuffers/docs/cpptutorial.html “Extending a Protocol Buffer” 
23 ”为 什么 要 在 一 个 连接 上 同时 发 Heartbeat 和 业务 消息 ? 见 89.3。 

24 http://enwikipedia.org/Wiki/Codec 


站 中 男 的 是 dynamic_cast， 代 码 实际 上 自 定义 了 down_cast 转 换 操 作 ， 在 Debug 编 译 时 会 检查 
动态 类 型 ， 而 在 NDEBUG 编 译 时 会 退化 为 static_cast， 没 有 RTTI 开 销 。 
26 http://www.artima.com/cppsource/top cpp_ aha moments.html 


27 http://blog.csdn.net/Solstice/article/details/5950190 
http ps com/playlist_show/id_5238686.html 
http://pod.tst.eu/http://cvs.schmorp.de/libev/ev.pod#The special_problem of accept ing_wh 
http://blog.csdn.net/solstice/article/category/790732 
http://blog.csdn.net/solstice/article/details/5814486 
http://cs.ucla.edu/~eggert/tz/tz-link.htm http://www.iana.org/time-zones 
http://lwn.net/Articles/446528/ 
http://blog.csdn.net/Solstice/article/details/5327881 
34 http://www.boost.org/doc/libs/release/doc/html/boost asio/tutorial.html 

35 ”NTP 的 原理 是 持续 检测 本 机 与 时 间 服 务 器 的 时 差 ， 调 整 本 机 的 时 钟 频率 和 时 间 offset， 让 修 
El ltd il NTP 的 核心 是 一 个 数字 锁 相 环 ， 这 里 的 < 相位 ?就 是 时 间 ， 频 

是 时 钟 快 慢 。NTP 对 时 除了 要 拨 表 盘 指 针 ， 还 要 调 钟 摆 长 短 以 控制 钟 的 快慢 。 

36 http:///www.cs.columbia.edu/~nahum/w6998/papers/sosp87-timing-wheels.pdf 

37 “可 靠 广播 、 原 子 广播 ”在 分 布 式 系统 中 有 重大 意义 ， 是 以 replicated state machine 方 式 实现 可 
靠 的 分 布 式 服务 的 基础 。“ 可 靠 广播 ”涉及 consensus 算 法 ， 超 出 了 本 书 的 范围 。 

38 ”在 http;//blog.codingnow.com/2010/11/go_prime.html 搜 “ 练 手 项 目 ”。 

39 http://www.cnblogs.com/Solstice/archive/2011/04/22/2024791.html 

40 http://en.wikipedia.org/Wwiki/SOCKS#SOCKS 4a 
1 http://blog.codingnow.com/2011/05/xtunnel.html 


吕 色 | 民 民 区 陪 | 
雪 讽 访 卢 启 启 谍 


42 
http://linux.dell.com/files/presentations/Linux Plumbers Conf 2010/Scaling techniques for servers with high connection%20rates.pdf 

43 ”相关 讨论 见 http:;//www.cppblog.com/Solstice/archive/2012/07/01/181058.aspx 后 面 的 评论 。 

44 http://www.corpit.ru/mjt/udns.html 

45 ”stub 的 意思 是 只 会 查询 一 个 DNS 服 务 器 ， 而 不 会 递归 地 (recursive) 查询 多 个 DNS 服 务 器 ， 
因此 适合 在 公司 内 网 使 用 (http://enwikipedia.org/wiki/Domain_Name_System#DNS resolvers ) 。 

46 ”Ubuntu 和 Debian 都 不 包含 UDNS 0.2 软 件 包 ， 因 此 必须 连同 上 游 源码 一 起 发 布 。 

47 http;//www.corpit.ru/mjt/udns/udns.3.html 

8 http://c-ares.haxx.se/ 

49 ”功能 也 比 UDNS 强 大 ,例如 可 以 读 取 /etc/hosts 。udns::Resolver 的 构造 水 数 有 选项 可 禁用 此 


50 ”ares_host_callback0 相 当 于 前 面 UDNS 的 dns_query_a40 回 调 。 
1 因为 DNS 解析 时 ， 如 果 UDP 响 应 发 生 消 息 截 断 ， 会 改 用 TCP 重 发 请 求 。 


http://www.unbound.net/documentation/libunbound.html 
也 可 以 访问 FTP 服 务 器 。 
http://curl.haxx.se/libcurl/c/libcurl-multi.html 
可 以 是 Channel 对 象 ， 也 可 以 是 其 owner 对 象 。 
56 ”这 两 个 库 是 同一 个 作者 ，libcurl 默 认 会 用 gethostbyname0) 执 行 同步 DNS 解 析 ， 在 有 c-ares 
DNS 的 时 候 用 它 执行 异步 DNS 解 析 。 
57 http://openresty.org/ 
58 https://github.com/cloudwu/skynet 
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第 8 章 ”muduo 网 络 库 设 计 与 实现 


本 章 从 零 开 始 逐 步 实现 一 个 类 似 muduo 的 基于 Reactor 模 式 的 C++ 网 
络 库 ， 大 体 反映 了 muduo 网 络 相 关 部 分 的 开发 过 程 。 本 章 大 致 分 为 三 
段 ， 为 了 与 代码 匹配 ， 本 章 的 小 节 从 0 开始 编号。 注意 本 章 呈 现 的 代码 
与 现在 muduo 的 代码 略 有 出 入 。 


1. 8$88.0 至 $8.3 介 绍 Reactor 模 式 的 现代 C++ 实现 ， 包 括 EventLoop、 
Poller、Channel、TimerQueue、EventLoopThread 等 class ; 

2. 88.4 至 88.9 介 绍 基于 Reactor 的 单线 程 、 非 阻塞 、 并 发 TCP server 
网 络 编程 ， 主 要 介绍 Acceptor、Socket、TcpServer、TcpConnection、 
Buffer 等 alass ; 

3. 88.10 至 $8.13 是 提高 篇， 介绍 one loop per thread 的 实现 (用 
EventLoopThreadPool 实 现 多 线程 TcpServer) ，Connector 和 TcpClient 
class， 还 有 用 epoll(4) 替 换 poll(2) 作 为 Poller 的 IO mnultiplexing 机 制 | 等 。 


本 章 的 代码 位 于 recipes/reactor/ ， 会 直接 使 用 muduo/base 中 的 日 
志 、 线 程 等 基础 库 。 


8.0 ”什么 都 不 做 的 EventLoop 


首先 定义 EventLoop class 的 基本 接口 : 构造 水 数 、 析 构 水 数 、 
loop0 成 员 遂 数 。 注 意 EventLoop 是 不 可 拷贝 的 ， 因 此 它 继 承 了 
boost::noncopyable。 muduo 中 的 大 多 数 class 都 是 不 可 拷贝 的 ， 因 此 以 后 
只 会 强调 某 个 class 是 可 拷贝 的 。 


reactor/s00/EventLoop.h 
16 class EventLoop : boost::noncopyable 
Ie 
18 public: 


20 EventLoop(); 
21 ~EventLoop(); 


23 void loop(); 
25 void assertInLoopThread() 


{ 
27 if (!isInLoopThread()) 


28 { 

29 abortNotInLoopThread(); 

30 } 

31 } 

32 

33 bool isInLoopThread() const { return threadId_ == CurrentThread: :tid(); } 


35 private: 
37 void abortNotInLoopThread() ; 


39 bool looping_; /x*x atomic */ 
40 const pid_t threadId_; 


reactor/s00/EventLoop.h 


one loop per thread 顾 名 思 义 每 个 线程 只 能 有 一 个 EventLoop 对 象 ， 
因此 EventLoop 的 构造 函数 会 检查 当前 线程 是 否 已 经 创建 了 其 他 
EventLoop 对 象 ， 遇 到 错误 就 终止 程序 (LOG_FATAL)。EventLoop 的 构 
造 函 数 会 记 住 本 对 象 所 属 的 线程 (threadId_) 。 创 建 了 EventLoop 对 象 
的 线程 是 IO 线程 ， 其 主要 功能 是 运行 事件 循环 EventLoop:: loop()。 
EventLoop 对 象 的 生命 期 通常 和 其 所 属 的 线程 一 样 长 ， 它 不 必 是 heap 对 
象 。 


reactor/s00/EventLoop.cc 
17 __thread EventLoop* t_loopInThisThread = 0; 


19 EventLoop::EventLoop() 


20 : looping_(false), 
21 threadId_(CurrentThread: :tid()) 
22 至 


23 LOG_TRACE << “EventLoop created ”<< this << ”in thread ”<< threadId_; 
24 if (t_loopInThisThread) 


{ 
26 LOG_FATAL << "Another EventLoop ”<< t_loopInThisThread 


27 << ”exists in this thread ”<< threadId_; 
28 } 
29 else 


{ 
31 t_loopInThisThread = this; 
32 } 
3 = 


35 EventLoop::~EventLoop() 
36 { 


37 assert(!looping._); 
38 t_loopInThisThread = NULL 


reactor/s00/EventLoop.cc 


既然 每 个 线程 至 多 有 一 个 EventLoop 对 象 ， 那 么 我 们 让 EventLoop 
的 static 成 员 闲 数 getEventLoopOfCurrentThread() 返 回 这 个 对 象 。 返 回 值 
可 能 为 NULL， 如 果 当 前 线程 不 是 IO 线程 的 话 。 (这 个 函数 是 muduo 后 
来 新 加 的 ， 因 此 前 面 头 文件 中 没有 它 的 原型 。) 


muduo/net/EventLoop.cc 
EventLoop* EventLoop::getEventLoopOfCurrentThread() 
{ 
return t_loopInThisThread; 
} 
muduo/net/EventLoop.cc 


i st 
调用 ; 哪些 成 员 孙 数 只 能 在 某 个 特定 线程 调用 〈 主 要 是 IO 线程 ) 。 为 
了 能 在 运行 时 检查 这 些 pre-condition，EventLoop 提 供 了 
isInLoopThreadO0 和 assertInLoopThreadO 等 国 数 (EventLoop.hL25 人 ~ 
L33) ， 其 中 用 到 的 EventLoop::abortNotInLoopThread0 东 数 的 定义 从 
略 。 


事件 循环 必须 在 IO 线程 执行 ， 因 此 EventLoop::loop0O 会 检查 这 一 
pre-condition (L44) 。 本 节 的 loop0 什 么 事 都 不 做 ， 等 5 秒 就 退出 。 


reactor/s00/EventLoop.cc 
41 void EventLoop::1o00p() 
42 { 
43 assert(!1ooping_); 
44 assertInLoopThread() ; 


45 looping_ = true; 

46 

47 ::poll(NULL, 6, 5*1000); 
48 


49 LOG_TRACE << “EventLoop ”<< this << ”stop looping"; 
50 looping_ = false; 
54 于 
reactor/s00/EventLoop.cc 


为 了 验证 现 有 的 功能 ， 我 编写 了 s00/testl.cc 和 s00/test2.cc。 其 中 
test1.cc 会 在 主线 程 和 子 线程 分 别 创建 一 个 EventLoop ， 程 序 正 常 运行 退 
出 。 


reactor/s00/test1.cc 
5 void threadFunc() 
6 泛 
7 printf("threadFunc(): pid = %d, tid = %d\n”", 
8 getpid(), muduo: :CurrentThread: :tid()); 
9 


10 muduo: :EventLoop loop; 
I 1oop.1oop() ; 
} 


14 int main() 


15 蔷 
16 printf("main(): pid = %d, tid = %d\n", 
17 getpid(), muduo: :CurrentThread: :tid()); 


19 muduo: :EventLoop loop; 


21 muduo: :Thread thread(threadFunc); 
22 thread. start(); 


24 1oop.1oop() ; 
25 pthread_exit(NULL) ; 


reactor/s00/test1.cc 


test2.cc 是 个 负面 测试 ， 它 在 主线 程 创 建 了 EventLoop 对 象 ， 却 试图 
在 另 一 个 线程 调用 其 EventLoop::loop0， 程 序 会 因 断 言 失效 而 异常 终 
止 。 练 习 : 写 一 个 负面 测试 ， 在 主线 程 创 建 两 个 EventLoop 对 象 ， 验 证 
程序 会 异常 终止 。 
reactor/s00/test2.cc 


4 muduo::EventLoop* g_loop; 


5 
6 void threadFunc() 

La 

8 g_loop->loop(); 

9 J 

10 

11 int main() 

i 二 

13 muduo: :EventLoop loop; 

14 g_loop = &loop; 

15 muduo: :Thread t(threadFunc); 
16 t.start(); 

了 OO 


reactor/s00/test2.cc 


8.1 Reactor 的 关键 结构 


本 节 讲 Reactor 最 核心 的 事件 分 发 机 制 ， 即 将 IO multiplexing 拿 到 的 
IO 事件 分 发 给 各 个 文件 描述 符 (fd) 的 事件 处 理 函 数 。 


8.1.1 Channel class 


Channel class 的 功能 有 一 点 类 似 Java NIO 的 SelectableChannel 和 
SelectionKey 的 组 合 。 每 个 Channel 对 象 自始至终 只 属于 一 个 
EventLoop， 因 此 每 个 Channel 对 象 都 只 属于 某 一 个 IO 线程 。 每 个 
Channel 对 象 自始至终 只 负责 一 个 文件 描述 符 (fd) 的 IO 事件 分 发 ， 但 
它 并 不 拥有 这 个 fd， 也 不 会 在 析 构 的 时 候 关 闭 这 个 fd。Channel 会 把 不 
同 的 IO 事件 分 发 为 不 同 的 回调 ， 例 如 ReadCallback、WriteCallback 等 ， 
而 且 “ 回 调用 boost::function 表 示 ， 用 户 无 须 继承 Channel，Channel 不 是 
基 类 。muduo 用 户 一 般 不 直接 使 用 Channel， 而 会 使 用 更 上 层 的 封装 ， 


如 TcpConnection。Channel 的 生命 期 由 其 owner class 负 责 管理 ， 它 一 般 
是 其 他 class 的 直接 或 间接 成 员 。 以 下 是 Channel 的 public interface : 


reactor/s01/Channel.h 
17 class EventLoop; 


19 /// 

20 /// A selectable I/0 channel. 

2 HF 

22 /// This class doesn't own the file descriptor. 
23 /// The file descriptor could be a socket, 

24 /// an eventfd, a timerfd, or a signalfd 

25 class Channel : boost::noncopyable 


26 { 

27 public: 

28 typedef boost::function<void()> EventCallback; 
29 

30 Channel(EventLoop* loop, int fd); 

31 


32 void handleEvent(); 

33 void setReadCallback(const EventCallback& cb) 
34 { readCallback_ = cb; } 

35 void setWriteCallback(const EventCallback& cb) 
36 { writeCallback_ = cb; } 

37 void setErrorCallback(const EventCallback& cb) 
38 { errorCallback_ = cb; } 


39 

40 int fd() const { return fd_; } 

41 int events() const { return events_; } 

42 void set_revents(int revt) { revents_ = revt; } 

43 bool isNoneEvent() const { return events_ == kNoneEvent; } 

44 

45 void enableReading() { events_ |= kReadEvent; update(); } 

46 // void enableWriting() { events_ |= kWriteEvent; update(); } 


47 // void disableWriting() { events_ &= ~kWriteEvent; update(); } 
48 // void disableAll() { events_ = kNoneEvent; update(); } 


49 

50 // for Poller 

51 int index() { return index_; } 

52 void set_index(int idx) { index_ = idx; } 
53 


54 EventLoop* ownerLoop() { return loop_; } 


reactors01/ChannelLh 


有 些 成 员 函 数 是 内 部 使 用 的 ， 用 户 一 般 只 用 set*Callback0 和 
enableReading(O 这 几 个 函数 。 其 中 有 些 孙 数目 前 还 用 不 到 ， 因 此 暂时 注 
释 起 来 。Channe]l 的 成 员 函 数 都 只 能 在 IO 线程 调用 ， 因 此 更 新 数据 成 员 
都 不 必 加 锁 。 


以 下 是 Channel class 的 数据 成 员 。 其 中 events_ 是 它 天 心 的 IO 事件 ， 
由 用 户 设置 ; revents_ 是 目前 活动 的 事件 ， 由 EventLoop/Poller 设 置 ; 这 
两 个 字段 都 是 bit pattermmn， 它 们 的 名 字 来 自 poll(2) 的 struct pollfd。 


reactor/s01/Channel.h 


56 private: 
57 void update(); 


59 static const int kNoneEvent; 
60 static const int kReadEvent; 
61 static const int kWriteEvent; 


63 EventLoop* loop.; 
64 const int fd_; 


65 int events_; 
66 int revents_; 
67 int index_; // used by Poller. 


69 EventCallback readCallback_; 

70 EventCallback writeCallback_; 

71 EventCallback errorCal1lback_; 

这 拓 

reactor/s01/ChanneLh 


注意 到 Channelh 没有 包含 任何 POSIX 头 文件 ， 因 此 kReadEvent 和 
kWriteEvent 等 常量 的 定义 要 放 到 Channelcc 中 。 


reactor/s01/Channel.cc 
18 const int Channel::kNoneEvent = 0; 

19 const int Channel::kReadEvent = POLLIN | POLLPRI; 

20 const int Channel: :kWriteEvent = POLLOUT; 


22 Channel::Channel(EventLoop* loop, int fdArg) 


23 : loop_(loop), 
24 fd_(fdArg), 
25 events_(0), 
26 revents_(0), 
27 index_(-1) 
斌 二 

29 } 


31 void Channel::update() 

32 -二 

33 loop_->updateChannel(this); 
34 } 


reactor/s01/Channel.cc 


Channel::update() 会 调用 EventLoop::updateChannel()， 后 者 会 转 而 调 
用 Poller::updateChannel()。 由 于 Channel.h 没有 包含 EventLoop.h ， 因 此 


Channel::update() 必 须 定 义 在 Channel.cc 中 。 

Channel::handleEventO 是 Channel 的 核心 ， 它 由 EventLoop::loopO 调 
用 ， 它 的 功能 是 根据 revents_ 的 值 分 别 调用 不 同 的 用 户 回调 。 这 个 阅 数 
以 后 还 会 扩充 。 


reactor/s01/Channel.cc 
36 void Channel::handleEvent() 


3 

38 if (revents_ & POLLNVAL) { 

39 LOG_WARN << “Channel: :handle_event() POLLNVAL"; 
40 } 


42 if (revents. & (POLLERR | POLLNVAL)) { 


43 if (errorCallback_) errorCallback_(); 

44 } 

45 if (revents_ & (POLLIN | POLLPRI | POLLRDHUP)) { 
46 if (readCallback_) readCallback_(); 

47 } 

48 if (revents_ & POLLOUT) { 

49 if (writeCallback_) writeCallback_(); 

50 3 

51 } 


reactor/s01/Channel.cc 


8.1.2 Poller class 


Poller class 是 IO multiplexing 的 封装 。 它 现在 是 个 具体 类 ， 而 在 
muduo 中 是 个 抽象 基 类 ， 因 为 muduo 同 时 支持 poll(2) 和 epoll(4) 两 种 IO 
multiplexing 机 制 。Poller 是 EventLoop 的 间接 成 员 ， 只 供 其 owner 
EventLoop 在 IO 线程 调用 ， 因 此 无 须 加 锁 。 其 生命 期 与 EventLoop 相 
等 。 Poller 并 不 拥有 Channel，Channel 在 析 构 之 前 必须 自己 unregister 

(EventLoop::removeChannel0) ， 避 免 空 悬 指针 。 


reactor/s01/Pollerh 
17 struct pollfd; 


19 Namespace muduo 
20 { 


22 class Channel; 


24 /// 

25 /// IO Multiplexing with poll(2). 

26 /// 

27 /// This class doesn’'t own the Channel objects. 
28 class Poller : boost::noncopyable 

29 { 

30 public: 

31 typedef std: :vector<Channelx*> ChannelList; 


33 Poller(EventLoop* loop); 
34 ~Poller(); 


36 /// Polls the IVO events. 
37 /// Must be called in the loop thread. 
38 Timestamp poll(int timeoutMs, ChannelListx* activeChannels); 


40 /// Changes the interested I/0 events. 
41 /// Must be called in the loop thread. 
42 void updateChannel(Channel* channel); 


44 void assertInLoopThread() { ownerLoop_->assertInLoopThread(); } 


注意 pollerh 并 没有 include <poll.h>， 而 是 自己 前 向 声明 了 struct 
pollfd， 这 不 妨碍 我 们 定义 vector<struct pollfd> 成 员 。 

Poller 供 EventLoop 调 用 的 函数 目前 有 两 个 ，poll0 和 
updateChannel0，Poller 暂 时 没有 定义 removeChannel0) 成 员 国 数 ， 因 为 
前 几 节 还 用 不 到 它 。 

以 下 是 Poller class 的 数据 成 员 。 其 中 ChannelMap 是 从 fd 到 Channel* 
的 映射 。 Poller::poll0) 不 会 在 每 次 调用 poll(2) 之 前 临时 构造 pollfd 数 组 ， 
而 是 把 它 缓存 起 来 (pollfds ) 。 


46 _ private : 

47 void fillActiveChannels(int numEvents, 

48 ChannelList* activeChannels) const; 
49 

50 typedef std::vector<struct pollfd> PollFdList; 

51 typedef std::map<int, Channel*> ChannelMap,; 


53 EventLoop* ownerLoop_; 


54 PollFdList pollfds_; 
55 ChannelMap channe1ls_; 


reactor/s01/Poller.h 


Poller 的 构造 水 数 和 析 构 函数 都 很 简单 ， 因 其 成 员 都 是 标准 库容 
器 。 


reactor/s01/Poller.cc 
18 Poller::Poller(EventLoop* loop) 
19 : ownerLoop_(loop) 
2 这 


23 Poller::~Poller() 

24 { 

25 } 

reactor/s01/Poller.cc 


Poller::poll0 是 Poller 的 核心 功能 ， 它 调用 poll(2) 获 得 当前 活动 的 IO 
事件 ， 然 后 填充 调用 方 传 入 的 activeChannels， 并 返回 poll(2) return 的 时 
刻 。 这 里 我 们 直接 把 vector<struct pollfd> pollfds_ 作 为 参数 传 给 poll(2)， 
为 C++ 标准 保证 std::vector 的 元 素 排列 跟 数组 一 样 。L30 中 的 
&*pollfds_.begin() 是 获得 元 素 的 首 地 址 ， 这 个 表达 式 的 类 型 为 
pollfds_*， 符 合 poll(2) 的 要 求 。 (在 C++11 中 可 写 为 pollfds_.data()， 
g++4.4 的 STL 也 支持 这 种 写法 。) 


reactor/s01/Poller.cc 


27 Timestamp Poller::poll(int timeoutMs, ChannelList* activeChannels) 

284 泊 

29 // XXX pollfds_ shouldn't change 

30 int numEvents = ::poll(&xpollfds_.begin(), pollfds_.size(), timeoutMs); 
31 Timestamp now(Timestamp: :now()); 

32 if (numEvents > 0) { 


33 LOG_TRACE << numEvents << ”events happended ”; 
34 fil1Activechannels(CnumEvents，activeCchannels) ; 
35 } else if (numEvents == 0) { 

36 LOG_TRACE << " nothing happended"; 

37 } else { 

38 LOG_SYSERR << “Poller: :pol1()”; 

39 } 

40 return now; 

41 } 


fillActiveChannels() 遍 历 pollfds_， 找 出 有 活动 事件 的 fd， 把 它 对 应 
的 Channel 填 入 activeChannels。 这 个 遂 数 的 复杂 度 是 O(N)， 其 中 NN 是 
pollfds_ 的 长 度 ， 即 文件 描述 符 数 目 。 为 了 提前 结束 循环 ， 每 找到 一 个 
活动 fd 就 递减 humEvents， 这 样 当 numEvents 减 为 0 时 表示 活动 fd 都 找 完 
了 ， 不 必 做 无 用 功 。 当 前 活动 事件 revents 会 保存 在 Channel 中 ， 供 
Channel::handleEvent() 使 用 (L56) 。 

注意 这 里 我 们 不 能 一 边 遍 历 pollfds_， 一 边 调 用 
Channel::handleEvent()， 因 为 后 者 会 添加 或 删除 Channel， 从 而 造成 
pollfds_ 在 遍历 期 间 改变 大 小 ， 这 是 非常 危险 的 。 另 外 一 个 原因 是 简化 
Poller 的 职责 ， 它 只 负责 IO multiplexing， 不 负责 事件 分 发 

(dispatching) 。 这 样 将 来 可 以 方便 地 替换 为 其 他 更 高 效 的 IO 

multiplexing 机 制 ， 如 epoll(4)。 


43 
44 


组 。 


void Poller::fillActiveChannels(int numEvents, 


ChannelListx activeChannels) const 


for (PollFdList::const_iterator pfd = pollfds_.begin(); 


pfd != pollfds_.end() && numEvents > 0; ++pfd) 


if (pfd->revents > 0) 


a 


--numEvents; 
ChannelMap: :const_iterator ch = channels_.find(pfd->fd); 
assert(ch != channels_.end()); 


Channel* channel = ch->second; 
assert(channel->fd() == pfd->fd) ; 
channel->set_revents(pfd->revents); 
// pfd->revents = 0; 
activeChannels->push_back(channel); 


Poller::updateChannel() 的 主要 功能 是 负责 维护 和 更 新 pollfds_ 数 

添加 新 Channel 的 复杂 度 是 O(logN)， 更 新 已 有 的 Channel 的 复杂 度 

是 O(1) ， 因 为 Channel 记 住 了 自己 在 pollfds_ 数 组 中 的 下 标 ， 因 此 可 以 快 
速 定 位 。removeChannel() 的 复杂 度 也 将 会 是 O(logN)。 这 里 用 了 大 量 的 


assert 来 检查 全 invarianto 


63 void Poller::updateChannel(Channel* channel) 


64 { 

65 assertInLoopThread(); 

66 LOG_TRACE << "fd = ”<< channel->fd() << ”events = ”<< channel->events(); 
67 if (channel->index() < 0) { 

68 // a new one, add to pollfds_ 

69 assert(channels_.find(channel->fd()) == channels_.end()); 
70 struct pollfd pfd; 

71 pfd.fd = channel->fd(); 

72 pfd.events = static_cast<short>(channel->events()); 

73 pfd.revents = 0; 

74 pollfds_.push_back(pfd) ; 

75 int idx = static_cast<int>(pollfds_.size())-1; 

76 channel->set_index(idx); 

77 channels_[pfd.fd] = channel; 

78 } else { 

79 // update existing one 

80 assert(channels_.find(channel->fd()) != channels_.end()); 
81 assert(channels_[channel->fd()] == channel); 

82 int idx = channel->index(); 

83 assert(0 <= idx && idx < static_cast<int>(pollfds_.size())); 
84 struct pollfd& pfd = pollfds_[idx]; 

85 assert(pfd.fd == channel->fd() || pfd.fd == -1); 

86 pfd.events = static_cast<short>(channel->events()); 

87 pfd.revents = 0; 

88 if (channel->isNoneEvent()) { 

89 // ignore this pollfd 

90 pfd.fd = -1; 

91 } 

92 J 

93 } 
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另外 ， 如 果 某 个 Channel 暂 时 不 关心 任何 事件 ， 就 把 pollfd.fd 设 
为 -1， 让 poll(2) 忽 略 此 项 (L90) :。 这 里 不 能 改 为 把 pollfd.events 设 为 
0， 这 样 无 法 屏 数 POLLER 事 件 。 改 进 的 做 法 是 把 pollfd.fd 设 为 channel- 
>fd0 的 相反 数 减 一 ， 这 样 可 以 进一步 检查 invariant。 (思考 : 为 什么 要 
减 一 ? ) 

8.1.3 EventLoop 的 改动 

EventLoop class 新 增 了 quit() 成 员 遂 数 ， 还 加 了 几 个 数据 成 员 ， 并 在 

构造 函数 里 初始 化 它们 。 注 意 EventLoop 通 过 scoped_ptr 来 间接 持 有 


Poller， 因 此 EventLoop.h 不 必 包 含 Pollerh ， 只 需 前 向 声明 Poller class。 
为 此 ，EventLoop 的 析 构 函数 必须 在 EventLoop.cc 中 显 式 定 义 。 


56 
57 
58 
59 
60 
61 
62 
63 
64 
65 
66 


reactor/s01/EventLoop.h 
void abortNotInLoopThread(); 


typedef std::vector<Channel*> ChannelList; 


bool looping_; /* atomic */ 
bool quit_; /* atomic */ 


const pid_t threadId_; 
boost::scoped_ptr<Poller> poller_; 


ChannelList activeChanne1ls_; 
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EventLoop::loop0 有 了 真正 的 工作 内 容 ， 它 调用 Poller::poll0 获 得 当 


前 活动 事件 的 Channel 列 表 ， 然 后 依次 调用 每 个 Channel 的 handleEvent() 


函数 。 


二 十 十 十 十 十 十 十 十 十 
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void EventLoop: :lo0p() 


assert(!looping_); 
assertInLoopThread(); 
looping_ = true; 
quit_ = false; 


while (!quit_) 
{ 
activeChannels_.clear(); 
poller_->poll(kPollTimeMs, &activeChannels_); 
for (ChannelList::iterator it = activeChannels_.begin(); 
it != activeChannels_.end(); ++it) 
{ 
(*it)->handleEvent(); 


LOG_TRACE << “EventLoop ”<< this << ”stop looping”; 
looping_ = false; 
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以 上 几 个 class 尽 管 简陋 ， 却 构成 了 Reactor 模 式 的 核心 内 容 。 时 序 


图 见 图 8-1。 
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我 们 现在 可 以 终止 事件 循环 ， 只 要 将 quit_ 设 为 true 即 可 ， 但 是 quit() 
不 是 立刻 发 生 的 ， 它 会 在 EventLoop::loopO 下 一 次 检查 while (!quit_) 的 
时 候 起 效 (L53) 。 如 果 在 非 当 前 IO 线程 调用 quit0)， 延 迟 可 以 长 达 数 
秒 ， 将 来 我 们 可 以 唤醒 EventLoop 以 缩小 延 时 。 但 是 quitO 不 是 中 断 或 
signal， 而 是 设 标志 ， 如 果 EventLoop::loopO 正 阻塞 在 某 个 调用 中 ， 
quit() 不 会 立刻 生效 。 
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68 void EventLoop::quit() 

69 攻 

70 quit_ = true; 

71 // wakeup(); 
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EventLoop::updateChannel() 在 检查 断言 之 后 调用 
Poller::updateChannel()，EventLoop 不 关心 Poller 是 如 何 管理 Channel 列 表 
的 。 


reactor/s01/EventLoop.cc 
74 void EventLoop::updateChannel(Channel* channel) 

157 所 

76 assert(channel->ownerLoop() == this); 

Tr assertInLoopThread(); 

78 poller_->updateChannel(channel); 

3 写 
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有 了 以 上 的 EventLoop、Poller、Channel， 我 们 写 个 小 程序 简单 地 
测试 一 下 功能 。s01/test3.cc 用 timerfd 实 现 了 一 个 单 次 触发 的 定时 器 ， 为 
§8.2 的 内 容 打 下 基础 。 这 个 程序 利用 Channel 将 timerfd 的 readable 事 件 转 
发 给 timeroutO 国 数 。 


reactor/s01/test3.cc 
5 #include <sys/timerfd.h> 
6 
7 muduo::EventLoop* g_loop; 
8 
9 void timeout() 
10 
11 printf("Timeout!\n"); 
12 g_loop->quit(); 
区 : 
14 
15 int main() 
AG 并 
17 muduo: :EventLoop loop; 
18 g_loop = &loop; 
19 
20 int timerfd = ::timerfd_create(CLOCK_MONOTONIC, TFD_NONBLOCK | TFD_CLOEXEC); 
21 muduo: :Channel channel(&loop, timerfd); 
22 channel.setReadCallback (timeout); 
23 channel .enableReading(); 
24 
25 struct itimerspec howlong; 
26 bzero(&howlong, sizeof howlong); 
27 howlong.it_value.tv_sec = 5; 
28 ::timerfd_settime(timerfd, 0, &howlong, NULL); 
29 
30 loop.1o0p(); 
31 
32 : :Close(timerfd) ; 
335 3 
reactor/s01/test3.CC 


由 于 poll(2) 是 level trigger， 在 timeout() 中 应 该 read() timefd, 否则 下 
次 会 立刻 触发 。 在 现 阶段 采用 level trigger 的 好 处 之 一 是 可 以 通过 strace 


命令 直观 地 看 到 每 次 poll(2) 的 参数 列表 ， 容 易 检 查 程 序 的 行为 。 
8.2 ”TimerQueue 定 时 器 


有 了 前 面 的 Reactor 基 础 ， 我 们 可 以 给 EventLoop 加 上 定时 器 功能 。 
传统 的 Reactor 通 过 控制 select(2) 和 poll(2) 的 等 待 时 间 来 实现 定时 ， 而 现 
在 在 Linux 中 有 了 timerfd， 我 们 可 以 用 和 处 理 IO 事 件 相 同 的 方式 来 处 理 
定时 ， 代 码 的 一 致 性 更 好 。muduo 中 的 backport.diff 展示 了 传统 方案 。 


8.2.1 TimerQueue class 


muduo 的 定时 器 功能 由 三 个 class 实 现 ，TimerId、Timer、 
TimerQueue， 用 户 只 能 看 到 第 一 个 class， 另 外 两 个 都 是 内 部 实现 细 
节 。TimerId 和 Timer 的 实现 很 简单 ， 这 里 就 不 展示 源码 了 。 

TimerQueue 的 接口 很 简单 ， 只 有 两 个 函数 addTimer0 和 cancel0。 本 
节 我 们 只 实现 addTimer()，cancel0 的 实现 见 此 处 。addTimer0O 是 供 
EventLoop 使 用 的 ，EventLoop 会 把 它 封 装 为 更 好 用 的 runAt()、 
runAfter()、runEvery() 等 遂 数 。 


reactor/s02/TimerQueue.h 
28 /// 

29 /// A best efforts timer queue. 

30 /// No guarantee that the callback will be on time. 


31 /// 

32 class TimerQueue : boost::noncopyable 
33 { 

34 public: 

35 TimerQueue(EventLoop* loop); 

36 ~TimerQueue(); 

37 

38 ard 


39 /// Schedules the callback to be run at given time, 

40 /// repeats if @c interval > 0.0. 

41 CL 

42 /// Must be thread safe. Usually be called from other threads. 
43 TimerId addTimer(const TimerCallback& cb, 

44 Timestamp when, 

45 double interval); 


47 // void cancel(TimerId timerId); 


值得 一 提 的 是 TimerQueue 的 数据 结构 的 选择 ，TimerQueue 需 要 高 
效 地 组 织 目前 尚未 到 期 的 Timer， 能 快速 地 根据 当前 时 间 找 到 已 经 到 期 
的 Timer， 也 要 能 高 效 地 添加 和 删除 Timer。 最 简单 的 TimerQueue 以 按 到 
期 时 间 排 好 序 的 线性 表 为 数据 结构 ，muduo 最 早 也 是 用 这 种 结构 。 这 种 
结构 的 常用 操作 都 是 线性 查找 ， 复 杂 度 是 O(N)。 

另 一 种 常用 做 法 是 二 叉 堆 组 织 优先 队列 (libev 用 的 是 更 高 效 的 4- 
heap) ， 这 种 做 法 的 复杂 度 降 为 O(logN)， 但 是 C++ 标 准 库 的 
make_heapO 等 国 数 不 能 高 效 地 删除 heap 中 间 的 某 个 元 素 ， 需 要 我 们 自 
己 实现 ( 令 Timer 记 住 自己 在 heap 中 的 位 置 ) 。 

还 有 一 种 做 法 是 使 用 二 叉 搜 索 树 (例如 std::set/std::map) ， 把 
Timer 按 到 期 时 间 先 后 排 好 序 。 操 作 的 复杂 度 仍 然 是 O(logN)， 不 过 
memory locality 比 heap 要 差 一 些 ， 实 际 速 度 可 能 略 慢 。 但 是 我 们 不 能 直 
接 用 map<Timestamp, Timer*>， 因 为 这 样 无 法 处 理 两 个 Timer 到 期 时 间 
相同 的 情况 。 有 两 个 解决 方案 ， 一 是 用 multimap 或 multiset， 二 是 设法 
区 分 key。muduo 现 在 采用 的 是 第 二 种 做 法 ， 这 样 可 以 避免 使 用 不 常见 
的 multimap class。 具 体 来 说 ， 以 pair<Timestamp, Timer*> 为 key， 这 样 
即便 两 个 Timer 的 到 期 时 间 相 同 ， 它 们 的 地 址 也 必定 不 同 。 

以 下 是 TimerQueue 的 数据 成 员 ， 这 个 结构 利用 了 现成 的 容器 库 ， 
实现 简单 ， 容 易 验 证 其 正确 性 ， 并 且 性 能 也 不 错 。TimerList 是 set 而 非 
map， 因 为 只 有 key 没 有 value。TimerQueue 使 用 了 一 个 Channel 来 观察 
timerfd_ 上 的 readable 事 件 。 注 意 TimerQueue 的 成 员 孙 数 只 能 在 其 所 属 的 
IO 线程 调用 ， 因 此 不 必 加 锁 。 


51 // FIXME: use unique_ptr<Timer> instead of raw pointers . 
52 typedef std::pair<Timestamp, Timer*> Entry; 

53 typedef std::set<Entry> TimerList; 

54 

55 // called when timerfd alarms 

56 void handleRead(); 

57 // move out all expired timers 

58 std: :vector<Entry> getExpired(Timestamp now); 

59 void reset(const std::vector<Entry>& expired, Timestamp now); 
60 

61 bool insert(Timer* timer); 

62 

63 EventLoop* 1oop_; 

64 const int timerfd_; 

65 Channel timerfdChannel_; 

66 // Timer list sorted by expiration 

67 TimerList timers_; 

68 ); 
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TimerQueue 的 实现 目前 有 一 个 不 理想 的 地 方 ，Timer 是 用 裸 指针 管 
理 的 ， 需 要 手动 delete。 这 里 用 shared_ptr 似 乎 有 点 小 题 大 做 了 。 在 
C++11 中 ， 或 许可 以 改进 为 unique_ptr， 避 人 免 手 动 管理 资源 。 

来 看 关键 的 getExpired0 国 数 的 实现 ， 这 个 图 数 会 从 timers_ 中 移 除 
已 到 期 的 Timer， 并 通过 vector 返 回 它 们 。 编 译 器 会 实施 RVO 优 化 ， 

必 太 担心 性 能 ， 必 要 时 可 以 像 EventLoop::activeChannels_ 那样 复 用 
vector。 注意 其 中 哨兵 值 (sentry) 的 选取 ，sentry 直 set::lower_bound0) 
返回 的 是 第 一 个 未 到 期 的 Timer 的 迭代 器 ， 因 此 L145 的 断言 中 是 < 而 非 


reactor/s02/TimerQueue.cc 
140 std::vector<TimerQueue::Entry> TimerQueue: :getExpired(Timestamp now) 

41: 过 

142 std: :vector<Entry> expired; 

143 Entry sentry = std::make_pair(now, reinterpret_cast<Timer*>(UINTPTR_MAX)); 

144 TimerList::iterator it = timers_.lower_bound(sentry); 

145 assert(it == timers_.end() || now < it->first); 

146 std: :copy(timers_.begin(), it, back_inserter (expired)); 

147 timers_.erase(timers_.begin(), it); 


149 return expired; 
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图 8-2 是 TimerQueue 回 调用 户 代 码 onTimer() 的 时 序 图 。 


EventLoop | Poller | Channel TimerQueue User 
-第 loop() 


poll() 


timeout 


active Channels 
handleEvent() 
t 和 -一 handleRead() 
Lo 


getExpired() 
-4 


onTimer() 
jp 


图 8-2 
8.2.2 ”EventLoop 的 改动 


EventLoop 新 增 了 几 个 方便 用 户 使 用 的 定时 器 接口 ， 这 几 个 函数 都 
转 而 调用 TimerQueue::addTimer()。 注 意 这 几 个 EventLoop 成 员 遂 数 应 该 
允许 跨 线 程 使 用 ， 比 方 说 我 想 在 某 个 IO 线 程 中 执行 超时 回调 。 这 就 带 
来 线程 安全 性 方面 的 问题 ，muduo 的 解决 办 法 不 是 加 锁 ， 而 是 把 对 
TimerQueue 的 操作 转移 到 IO 线程 来 进行 ， 这 会 用 到 $8.3 介 绍 的 
EventLoop::runInLoopO 卫 数 。 


reactor/s02/EventLoop.cc 
76 TimerId EventLoop::runAt(const Timestamp& time, const TimerCallbacké& cb) 

到 所 

78 return timerQueue_->addTimer(cb, time, 0.0); 

9; 计 


81 TimerId EventLoop::runAfter(double delay, const TimerCallback& cb) 
82 { 

83 Timestamp time(addTime(Timestamp: :now(), delay)); 

84 return runAt(time, cb); 

85 } 


87 TimerId EventLoop::runEvery(double interval, const TimerCallback& cb) 
88 { 

89 Timestamp time(addTime(Timestamp: :now(), interval)); 

90 return timerQueue_->addTimer(cb, time, interval); 

91 } 
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测试 代码 见 s02/test4.cc ， 这 与 muduo 正 式 的 用 法 完全 一 样 。 
8.3 EventLoop::runInLoop(O 函 数 


EventLoop 有 一 个 非常 有 用 的 功能 : 在 它 的 IO 线程 内 执行 某 个 用 户 
任务 回调 ， 即 EventLoop::runInLoop(const Functor& cb)， 其 中 Functor 是 
boost::function<void()>。 如 果 用 户 在 当前 10 线程 调用 这 个 遂 数 ， 回 调 会 
同步 进行 ;如 果 用 户 在 其 他 线程 调用 runInLoop()，cb 会 被 加 入 队列 ， 
IO 线 程 会 被 唤醒 来 调用 这 个 Functor。 


reactor/s03/EventLoop.cc 
void EventLoop: :runInLoop(const Functor& cb) 


if (isInLoopThread()) { 
cb(); 
} else { 
queueInLoop(cb); 
} 
l 
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有 了 这 个 功能 ， 我 们 就 能 轻易 地 在 线程 间 调 配 任 务 ， 比 方 说 把 
TimerQueue 的 成 员 函 数 调用 移 到 其 IO 线程 ， 这 样 可 以 在 不 用 锁 的 情 ; 
下 保证 线程 安全 性 。 


由 于 IO 线程 平时 阻塞 在 事件 循环 EventLoop::loop(O 的 poll(2) 调 用 
中 ， 为 了 让 IO 线程 能 立刻 执行 用 户 回 调 ， 我 们 需要 设法 唤醒 它 。 传 统 
的 办 法 是 用 pipe(2)，IO 线 程 始 终 监 视 此 管道 的 readable 事 件 ， 在 需要 唤 
醒 的 时 候 ， 其 他 线程 往 管道 里 写 一 个 字 节 ， 这 样 1O 线 程 就 从 IO 
multiplexing 阻 塞 调用 中 返回 。 (原理 类 似 HTTP long polling。) 现在 
Linux 有 了 eventfd(2)， 可 以 更 高 效 地 唤醒 ， 因 为 它 不 必 管 理 缓冲 区 。 以 
下 是 EventLoop 新 增 的 成 员 。 
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96 private: 


98 void abortNotInLoopThread(); 
99 + void handleRead(); // waked up 
100 + void doPendingFunctors(); 


102 typedef std::vector<Channel*> Channe1lList; 
103 

104 bool looping_; /* atomic */ 

105 bool quit_; /x atomic */ 

106 + bool callingPendingFunctors_; /* atomic */ 
107 const pid_t threadId_; 

108 Timestamp pollReturnTime_; 

109 boost::scoped_ptr<Poller> poller_; 

110 boost::scoped_ptr<TimerQueue> timerQueue_; 
111 + int wakeupFd_; 

112 + // unlike in TimerQueue, which is an internal class， 
113 + // we don't expose Channel to client . 

114 + boost::scoped_ptr<Channel> wakeupChannel._; 


115 ChannelList activeChannels_; 
116 + MutexLock mutex_; 
117 + std::vector<Functor> pendingFunctors_; // @BuardedBy mutex_ 
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wakeupChannel_ 用 于 处 理 wakeupFd_ 上 的 readable 事 件 ， 将 事件 分 
发 至 handleRead0 函 数 。 其 中 只 有 pendingFunctors_ 暴 露 给 了 其 他 线程 ， 
因此 用 mutex 保 护 。 

queueInLoop() 的 实现 很 简单 ， 将 cb 放 入 队列 ， 并 在 必要 时 唤醒 IO 
线程 。 


reactor/s03/EventLoop.cc 
114 void EventLoop::queueInLoop(const Functor& cb) 


117 MutexLockGuard lock(mutex_); 

118 pendingFunctors_.push_back(cb) ; 

119 次 

121 if (!isInLoopThread() || callingPendingFunctors_) 


123 Wakeup() ; 
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“必要 时 ”有 两 种 情况 ， 如 果 调 用 queueInLoop() 的 线程 不 是 IO 线 
程 ， 那 么 唤醒 是 必需 的 ;如 果 在 IO 线 程 调用 queueInLoop()， 而 此 时 正 
在 调用 pending functor， 那 么 也 必须 唤醒 。 换 句 话 说 ， 只 有 在 IO 线程 的 
事件 回调 中 调用 queueInLoop() 才 看 了 下 面 
doPendingFunctors() 的 调用 时 间 点 ， 想 必 读 者 就 能 明白 为 什么 。 

此 处 的 事件 循环 EventLoop: ti 要 增加 一 行 代码 ， 执 行 
pendingFunctors_ 中 的 任务 回调 。 


- reactor/s03/EventLoop.cc 
77 while (!quit_) 
{ 


79 activeChannels_.clear(); 

80 pollReturnTime_ = poller_->poll(kPollTimeMs, &activeChannels,_); 
81 for (ChannelList::iterator it = activeChannels_.begin(); 

82 it != activeChannels_.end(); ++it) 

83 { 

84 (*it)->handleEvent(); 

85 } 

86 + doPendingFunctors(); 

87 } 


reactor/s03/EventLoop.cc 


EventLoop::doPendingFunctors() 不 是 简单 地 在 临界 区 内 依次 调用 
Functor， 而 是 把 回调 列表 swap() 到 局 部 变量 functors 中 ， 这 样 一 方面 减 
小 了 临界 区 的 长 度 (意味 着 不 会 阻塞 其 他 线程 调用 queueInLoop()) 

男 一 方面 也 避免 了 死 锁 (因为 Functor 可 能 再 调用 queueInLoop()) 。 


reactor/s03/EventLoop.cc 
178 void EventLoop: :doPendingFunctors() 


179 { 

180 std: :vector<Functor> functors; 
181 callingPendingFunctors_ = true; 
182 

183 { 


184 MutexLockGuard lock(mutex_); 

185 functors.swap(pendingFunctors_) ; 

186 } 

187 

188 for (size_t i = 08; i < functors.size(); ++i) 
189 


190 functors[i](); 

191 

192 callingPendingFunctors_ = false; 
193 } 


reactor/s03/EventLoop.cc 


由 于 doPendingFunctorsO 调 用 的 Functor 可 能 再 调用 
queueInLoop(cb)， 这 时 queueInLoop() 就 必须 wakeup()， 否 则 这 些 新 加 的 
cb 就 不 能 被 及 时 调用 了 。muduo 这 里 没有 反复 执行 doPendingFunctors() 
直到 pendingFunctors 为 空 ， 这 是 有 意 的 ， 否 则 IO 线程 有 可 能 陷入 死 循 
环 ， 无 法 处 理 IO 事件 。 

剩 下 的 事情 就 简单 了 ， 在 EventLoop::quitO 中 增加 几 行 代码 ， 在 必 
要 时 唤醒 IO 线程 ， 让 它 及 时 终止 循环 。 思 考 : 为 什么 在 IO 线程 调用 
quit() 就 不 必 wakeup(? 


reactor/s03/EventLoop.cc 


93 void EventLoop::quit() 
94 攻 

95 quit_ = true; 

if (!isInLoopThread()) 


wakeup(); 
3 


4D 
co 
+ 二 十 十 


100  } 
reactor/s03/EventLoop.cc 


EventLoop::wakeup() 和 EventLoop::handleRead() 分 别 对 wakeupFd_ 写 
入 数据 和 读 出 数据 ， 代 码 从 略 。 注 意 muduo 不 是 在 
EventLoop::handleRead() 中 执行 doPendingFunctors()， 理 由 见 
http://blog.csdn.net/solstice/article/details/6171831#comments 。 


s03/test5.cc 是 单线 程 程序 ， 测 试 了 runInLoop() 和 queueInLoop() 等 新 
函数 。 


8.3.1 ”提高 TimerQueue 的 线程 安全 性 


前 面 提 到 TimerQueue::addTimerO 只 能 在 IO 线程 调用 ， 因 此 
EventLoop::runAfterO 系 列 钞 数 不 是 线程 安全 的 。 下 面 这 段 代码 在 $8.2 中 
会 crash， 因 为 它 在 非 10 线 程 调用 了 EventLoop::runAfter()。 


muduo: :EventLoop* g_loop; 
void print() { } // 空 函数 


void threadFunc() 


{ 
g_loop->runAfter(1.0, print); 


} 


int main() 


{ 
muduo: :EventLoop loop:; 
g_loop = &loop; 
muduo: :Thread t(threadFunc); 
t.start(); 
loop.100p(); 


运行 结果 : 


20120901 01:36:26.9054732Z 17897 FATAL EventLoop::abortNotInLoopThread - 
EventLoop 06x7fff892d1070 was created in threadId_ = 17896, 
current thread id = 17897 - EventLoop.cc:102 

Aborted (core dumped) 


借助 EventLoop::runInLoop()， 我 们 可 以 很 容易 地 将 
TimerQueue::addTimer0O 做 成 线程 安全 的 ， 而 且 无 须 用 锁 。 办 法 是 让 
addTimer() 调 用 runInLoop()， 把 实际 工作 转移 到 IO 线 程 来 做 。 先 新 增 
个 addTimerInLoop0 成 员 函 数 : 


reactor/s03ATimerOueue.h 


52 typedef std::pair<Timestamp, Timer*> Entry; 
53 typedef std::set<Entry> TimerList; 

54 

55 + void addTimerInLoop(Timer* timer); 

56 // called when timerfd alarms 


57 void handleRead(); 
reactor/s03/TimerQueue.h 


然后 把 addTimer() 拆 成 两 部 分 ， 拆 分 后 的 addTimer() 只 负责 转发 ， 
addTimerInLoop() 完 成 修改 定时 器 列表 的 工作 。 


reactor/s03/TimerQueue.cc 
107 TimerId TimerQueue::addTimer(const TimerCallback& cb, 


108 Timestamp when, 

109 double interval) 
1 翅 

111 Timerx timer = new Timer(cb, when, interval); 
112 + 1oop_->runInLoop( 

113: 二 boost::bind(&TimerQueue: :addTimerInLoop, this, timer)); 
114 + return TimerIld(timer); 

115 +} 

116 

117 +void TimerQueue::addTimerInLoop(Timerx timer) 
i118 尘 丰 

119 loop_->assertInLoopThread(); 

120 bool earliestChanged = insert(timer); 

121 

122 if (earliestChanged) 

123 全 

124 resetTimerfd(timerfd_, timer->expiration()); 
125 } 

126 - return TimerIld(timer); 

127 } 


reactor/s03/TimerOQueue.cc 


这 样 无 论 在 哪个 线程 调用 addTimer() 都 是 安全 的 了 ， 上 方 的 代码 也 
能 正常 运行 。 


8.3.2 EventLoopThread class 


IO 线 程 不 一 定 是 主线 程 ， 我 们 可 以 在 任何 一 个 线程 创建 并 运行 
EventLoop。 一 个 程序 也 可 以 有 不 止 一 个 IO 线程 ， 我 们 可 以 按 优先 级 将 
不 同 的 socket 分 给 不 同 的 IO 线程 ， 避 免 优先 级 反 转 。 为 了 方便 将 来 使 
用 ， 我 们 定义 EventLoopThread class， 这 正 是 one loop per thread 的 本 


2 
忆 oO 


EventLoopThread 会 局 动 自己 的 线程 ， 并 在 其 中 运行 
EventLoop::loop()。 et db. 这 个 函数 会 
返回 新 线程 中 EventLoop 对 象 的 地 址 ， 因 此 用 条 件 变 量 来 等 待 线程 的 创 
建 与 运 运行 。 


reactor/s03/EventLoopThread.cc 
32 EventLoop* EventLoopThread::startLoop() 


34 assert(!thread_.started()); 
35 thread_.start(); 


38 MutexLockGuard lock(mutex_); 
39 while (loop_ == NULL) 

40 

41 cond_.wait(); 

42 } 

43 } 


45 return 1oop_; 
46 } 


reactor/s03/EventLoopThread.cc 


线程 主 函 数 在 stack 上 定义 EventLoop 对 象 ， 然 后 将 其 地 址 赋值 给 
loop 成员 变量 ， 最 后 notify0) 条 件 变 量 ， 唤 醒 startLoop()。 


reactor/s03/EventLoopThread.cc 
48 void EventLoopThread::threadFunc() 
49 荆 
50 EventLoop loop; 
51 
52 


53 MutexLockGuard lock(mutex_); 
54 1oop_ = &loop; 

55 cond_.notify(); 

56 了 


57 

58 1oop.1oop() ; 

59 //assert(exiting_); 
60 } 


reactor/s03/EventLoopThread.cc 


由 于 EventLoop 的 生命 期 与 线程 主 水 数 的 作用 域 相同 ， 因 此 在 
threadFuncO 退 出 之 后 这 个 指针 就 失效 了 。 好 在 服务 程序 一 般 不 要 求 能 
安全 地 退出 (8§9.2.2) ， 这 应 该 不 是 什么 大 问题 。 


s03/test6.cc 测试 了 EventLoopThread 的 功能 ， 也 测试 了 跨 线 程 调用 
EventLoop:: runInLoop() 和 EventLoop::runAfter()， 代 码 从 上 略 。 


8.4 ”实现 TCP 网 络 库 


到 目前 为 止 ，Reactor 事 件 处 理 框架 已 初 具 规模 ， 从 本 节 开 始 我 们 
用 它 逐 步 实现 一 个 非 阻 塞 TCP 网 络 编程 库 。 从 poll(2) 返 回 到 再 次 调用 
poll(2) 阻 塞 称 为 一 次 事件 循环 。 图 8-3 值 得 印 在 脑 中 ， 它 有 助 于 理解 一 
次 循环 中 各 种 回调 发 生 的 顺序 。 


poll 


i 2 浊 (timers 


functors K { IO handlers ) 


图 8-3 


传统 的 Reactor 实 现 一 般 会 把 timers 做 成 循环 中 单独 的 一 步 ， 而 
muduo 把 它 和 IO handlers 等 同 视 之 ， 这 是 使 用 timerfd 的 附带 效应 。 将 来 
有 必要 时 也 可 以 在 调用 IO handlers 之 前 或 之 后 处 理 timers。 

后 面 几 节 的 内 容 安 排 如 下 : 

88.4 介 绍 Acceptor class， 用 于 accept(2) 新 连接 。 

88.5 介 绍 TcpServer， 处 理 新 建 TcpConnection。 

8$8.6 处 理 TcpConnection 断 开 连 接 。 

8$8.7 介 绍 Buffer class 并 用 它 读 取 数据 。 

8$8.8 介 绍 如 何 无 阻塞 发 送 数据 。 

8$88.9 完 善 TcpConnection， 处 理 SIGPIPE、TCP keep alive 等 。 

至 此 ， 单 线程 TCP 服 务 端 网 络 编程 已 经 基本 成 型 ， 大 部 分 muduo 示 例 都 
可 以 运行 。 


Acceptor class 


先 定 义 Acceptor class， 用 于 accept(2) 新 TCP 连 接 ， 并 通过 回调 通知 
使 用 者 。 它 是 内 部 class， 供 TcpServer 使 用 ， 生 命 期 由 后 者 控制 。 
Acceptor 的 接口 如 下 : 


reactor/s04/Acceptor.h 
26 Cclass Acceptor : boost::noncopyable 


28 public: 
29 typedef boost::function<void (int sockfd, 
30 const InetAddress&)> NewConnectionCallback; 


32 Acceptor (EventLoop* loop, const InetAddress& listenAddr); 


34 void setNewConnectionCallback(const NewConnectionCallback& cb) 
35 { newConnectionCallback_ = cb; } 


37 bool listenning() const { return listenning_; } 
38 void listen(); 


reactor/s04/Acceptor.h 


Acceptor 的 数据 成 员 包 括 Sockef、 Channel 等 。 其 中 Socket 是 一 
RAIIhandle， 封 狼 了 socket 文 件 描 述 符 的 生命 期 。Acceptor ee 
listening socket， 即 server socket。Channel 用 于 观察 此 socket 上 的 readable 
事件 ， 并 回调 Acceptor:: handleRead()， 后 者 会 调用 accept(2) 来 接受 新 连 
接 ， 并 回调 用 户 callback。 


reactor/s04/Acceptor.h 
40 private: 

41 void handleRead(); 

42 

43 EventLoop* loop.; 

44 Socket acceptSocket_; 

45 Channel acceptChannel_; 

46 NewConnectionCallback newConnectionCallback_; 

47 bool listenning_; 

48 ); 


reactor/s04/Acceptor.h 


Acceptor 的 构造 图 数 和 Acceptor::listen0) 成 员 国 数 执行 创建 TCP 服 务 
端的 传统 步骤 ， 即 调用 socket(2)、bind(2)、1listen(2) 等 Sockets API， 其 
中 任何 一 个 步骤 出 错 都 会 造成 程序 终止 :， 因 此 这 里 看 不 到 错误 处 理 。 


reactor/s04/Acceptor.cc 
19 Acceptor::Acceptor(EventLoop* loop, const InetAddress& listenAddr) 
20 : loop_(loop), 


21 acceptSocket_(sockets: :createNonblockingOrDie()), 
22 acceptChannel_(loop, acceptSocket_.fd()), 

23 listenning_(false) 

24| -{ 


25 acceptSocket_.setReuseAddr (true); 

26 acceptSocket_.bindAddress(listenAddr); 

27 acceptChannel_.setReadCallback( 

28 boost: :bind(&Acceptor: :handleRead, this)); 
29 } 


31 void Acceptor::listen() 


32 { 
33 loop_->assertInLoopThread() ; 
34 listenning_ = true; 


35 acceptSocket._.listen(); 
36 acceptChannel_.enableReading(); 


reactor/s04/Acceptor.cc 


Acceptor 的 接口 中 用 到 了 InetAddress class， 这 是 对 struct 
sockaddr in 的 简单 封装 ， 能 上 自动 转换 字 节 序 ， 代 码 从 略 。InetAddress 具 
备 值 语义 ， 是 可 以 拷贝 的 。 

Acceptor 的 构造 图 数 用 到 createNonblockingOrDie(0) 来 创建 非 阻塞 的 
socket， 现 在 的 Linux 可 以 一 步 完成 ($4.11) ， 代 码 如 下 。 


reactor/s04/SocketsOps.cc 


int sockets::createNonblockingOrDie() 


int sockfd = ::socket(AF_INET, 
SOCK_STREAM | SOCK_NONBLOCK | SOCK_CLOEXEC, 
IPPROTO_TCP); 

if (sockfd < 0) 

. 


有 


return sockfd; 


} 


LOG_SYSFATAL << "sockets::createNonblockingOrDie",; 


reactor/s04/SocketsOps.cc 


Acceptor::listen() 的 最 后 一 步 让 acceptChannel_ 在 socket 可 读 的 时 候 
调用 Acceptor::handleRead()， 后 者 会 接受 (accept(2)) 并 回调 
newConnectionCallback_。 这 里 直接 把 socket fd 传 给 callback， 这 种 传递 


int 句 柄 的 做 法 不 够 理想 ， 在 C++11 中 可 以 先 创建 Socket 对 象 ， 绸 用 移动 
语义 把 Socket 对 象 std::move0 给 回调 函数 ， 确 保 资 源 的 安全 释放 。 


reactor/s04/Acceptor.cc 


39 void Acceptor::handleRead() 

40 { 

41 loop_->assertInLoopThread(); 

42 InetAddress peerAddr(0) ; 

43 //FIXME loop until no more 

44 int connfd = acceptSocket_.accept(&peerAddr); 
45 if (connfd >= 0) { 


46 if (newConnectionCallback_) { 

47 newConnectionCallback_(connfd, peerAddr); 
48 } else { 

49 sockets: :close(connfd); 

50 

51 } 

52 } 


reactor/s04/Acceptor.cc 

注意 这 里 的 实现 没有 考虑 文件 描述 符 耗 尽 的 情况 ，muduo 的 处 理 办 
法 见 87.7。 还 有 一 个 改进 措施 ， 在 拿 到 大 于 或 等 于 0 的 connfd 之 后 ， 非 
阻塞 地 poll(2) 一 下 ， 看 看 fd 是 否 可 读 写 。 正 常情 况 下 poll(2) 会 返回 
writable， 表 明 connfd 可 用 。 如 果 poll(2) 返 回 错 误 ， 表 明 connfd 有 问题 ， 
应 该 立刻 关闭 连接 。 

Acceptor::handleRead() 的 策略 很 简单 ， 每 次 accept(2) 一 个 socket。 男 
外 还 有 两 种 实现 策略 ， 一 是 每 次 循环 accept(2)， 直 至 没有 新 的 连接 到 
达 ; 二 是 每 次 尝试 accept(2)N 个 新 连接 ，N 的 值 一 般 是 10。 后 面 这 两 种 
做 法 适合 短 连 接 服务 ， 而 muduo 是 为 长 连接 服务 优化 的 ， 因 此 这 里 用 了 
最 简单 的 办 法 。 这 三 种 策略 的 对 比 见 论 文 《accept()able Strategies for 
Improving Web Server Performance》 :。 

利用 Linux 新 增 的 系统 调用 可 以 直接 accept(2) 一 步 得 到 非 阻塞 的 


socketo 


reactor/s04/SocketsOps.cc 


100 


107 


109 


int sockets::accept(int sockfd, struct sockaddr_inx addr) 


socklen_t addrlen = sizeof xaddr; 


#if VALGRIND 
int connfd = ::accept(sockfd, sockaddr_cast(addr), &addrlen); 


setNonBlockAndCloseOnExec(connfd); 
#else 
int connfd = ::accept4(sockfd, sockaddr_cast(addr), 
&addrlen, SOCK_NONBLOCK | SOCK_CLOEXEC); 
#endif 
if (connfd < 0) 


int savedErrno = errno; 
LOG_SYSERR << "Socket::accept"; 
Switch (savedErrno) 


{ 
这 里 区 分 致命 错误 和 暂时 错误 ， 并 区 别 对 待 。 对 于 暂时 错误 ， 例 


如 EAGAIN、EINTR、EMFILE、ECONNABORTED 等 等 ， 处 理 办 法 是 
忽略 这 次 错误 。 对 于 致命 错误 ， 例 如 ENFILE、ENOMEM 等 等 ， 处 理 
办 法 是 终止 程序 ， 对 于 未 知 错误 也 照 此 办 理 。 


133 
134 
135 
136 


} 
} 


return connfd; 


} 
reactor/s04/SocketsOps.cc 


下 面 写 个 小 程序 来 试验 Acceptor 的 功能 ， 它 在 9981 端 口 侦 听 新 连 


接 ， 连 接 到 达 后 向 它 发 送 一 个 字符 串 ， 随 即 断 开 连 接 。 


reactor/sQ4/test7.cc 
7 void newConnection(int sockfd, const muduo::InetAddress& peerAddr) 
8 { 


9 printf("newConnection(): accepted a new connection from %s\n", 


10 peerAddr .toHostPort().c_str()); 
村 ::write(sockfd, "How are you?\n”, 13); 
12 muduo: :sockets::close(sockfd); 

13 3 


15 int main() 
17 printf("main(): pid = %d\n”, getpid()); 


19 muduo: :InetAddress listenAddr (9981); 
20 muduo: :EventLoop loop; 


22 muduo: :Acceptor acceptor(&]loop, listenAddr); 
23 acceptor .setNewConnectionCallback (newConnection); 
24 acceptor .listen(); 


26 loop. 100p(); 
2 好 


reactor/s04/test7CC 


练习 1: 把 s04/test7.cc 改写 为 daytime 服 务 器 。 
练习 2: 把 s04/test7.cc 扩充 为 同时 侦 听 两 个 port， 每 个 port 发 送 不 同 
的 字符 串 。 


8.5 ”TcpServer 接 受 新 连接 


本 节 会 介绍 TcpServer 并 初步 实现 TcpConnection， 本 节 只 处 理 连 接 
的 建立 ， 下 一 节 处 理 连 接 的 断 开 ， 再 往 后 依次 处 理 读 取 数 据 和 发 送 数 
据 。 

TecpServer 新 建 连 接 的 相关 函数 调用 顺序 见 图 8-4 〈《 有 的 函数 名 是 简 
写 ， 省 略 了 poll(2) 调 用 ) 。 其 中 Channel::handleEvent() 的 触发 条 件 是 
listening socket 可 读 ， 表明 有 新 连接 到 达 。TcpServer 会 为 新 连接 创建 对 
应 的 TcpConnection 对 象 。 


EventLoop Channel Acceptor TcpServer 


T T 
loop0 | I 
Lo | | | 
handleEvent() | 
jp | | 
handleRead() | 
| > 
| | 
accept(2) 
I ! | 
newConn() 
A «create» 上 「 = 和 
SR = TcpConnection 
一 
established() | > 
LL 二 Ee | 了 connCb() 
| | | | 1 
图 8-4 


8.5.1 ‘TcpServer class 


TcpServer class 的 功能 是 管理 accept(2) 获 得 的 TcpConnection。 
TcpServer 是 供用 户 直接 使 用 的 ， 生 命 期 由 用 户 控 制 。TcpServer 的 接口 
如 下 ， 用 户 只 需要 设置 好 callback， 再 调用 startO 即 可 。 


reactor/s05/TcpServer.h 
24 class TcpServer : boost::noncopyable 
25 { 
26 public: 
27 
28 TcpServer(EventLoop* loop, const InetAddress& listenAddr); 
29 ~TcpServer(); // force out-line dtor, for scoped_ptr members. 
30 
31 /// Starts the server if it's not listenning. 
32 AA. 


33 /// It's harmless to call it multiple times. 

34 /// Thread safe. 

35 void start(); 

36 

37 /// Set connection callback. 

38 /// Not thread safe. 

39 void setConnectionCallback(const ConnectionCallback& cb) 
40 { connectionCallback_ = cb; } 


42 /// Set message callback. 

43 /// Not thread safe. 

44 void setMessageCallback(const MessageCallback& cb) 
45 { messageCallback_ = cb; } 


TcpServer 内 部 使 用 Acceptor 来 获得 新 连接 的 fd。 它 保存 用 户 提供 的 
ConnectionCallback 和 MessageCallback， 在 新 建 TcpConnection 的 时 候 会 
原样 传 给 后 者 。TcpServer 持 有 目前 存活 的 TcpConnection 的 shared_ptr 

(定义 为 TcpConnectionPtr) ， 因 为 TcpConnection 对 象 的 生命 期 是 模糊 
的 ， 用 户 也 可 以 持 有 TcpConnectionPtr。 


47 private: 
48 /// Not thread safe, but in loop 
49 void newConnection(int sockfd, const InetAddress& peerAddr) ; 


51 typedef std::map<std::string, TcpConnectionPtr> ConnectionMap; 

52 

53 EventLoop* loop_; // the acceptor loop 

54 const std::string name_; 

55 boost::scoped_ptr<Acceptor> acceptor_; // avoid revealing Acceptor 


56 ConnectionCallback connectionCallback_; 

57 MessageCallback messageCallback_; 

58 bool started_; 

59 int nextConnId_; // always in loop thread 
60 ConnectionMap connections_; 

61 】}; 


reactor/s05/TcpServer.h 


每 个 TcpConnection 对 象 有 一 个 名 字 ， 这 个 名 字 是 由 其 所 属 的 
TcpServer 在 创建 TcppConnection 对 象 时 生成 ， 名 字 是 ConnectionMap 的 
key。 

在 新 连接 到 达 时 ，Acceptor 会 回调 newConnection()， 后 者 会 创建 
TcpConnection 对 象 conn， 把 它 加 入 ConnectionMap ， 设 置 好 callback， 再 
调用 conn->connectEstablished()， 其 中 会 回调 用 户 提供 的 
ConnectionCallback。 代 码 如 下 。 


reactor/s05/TcpServer.cc 
50 void TcpServer: :newConnection(int sockfd, const InetAddress& peerAddr) 

5 € 

52 loop_->assertInLoopThread(); 

53 char buf[32]; 

54 snprintf(buf, sizeof buf, "#%d", nextConnId._); 

55 ++nextConnId_; 

56 std: :string connName = name_ + buf; 


58 LOG_INFO << “TcpServer: :newConnection [”<< name_ 

59 << "] - new connection [" << connName 

60 << "] from ”<< peerAddr.toHostPort(); 

61 InetAddress localAddr(sockets: :getLocalAddr(sockfd) ) ; 

62 // FIXME poll with zero timeout to double confirm the new connection 
63 TcpConnectionPtr conn( 

64 new TcpConnection(loop._, connName, sockfd, localAddr, peerAddr)); 
65 connections_[connName] = conn; 

66 conn->setConnectionCallback(connectionCallback_); 

67 conn->setMessageCallback (messageCallback_); 

68 conn->connectEstablished(); 


reactor/s05/TcpServer.cc 


练习 : 给 TcpServer 的 构造 水 数 增加 string 参 数 ， 用 于 初始 化 name_ 
成 员 变 量 。 

注意 muduo 尽 量 让 依赖 是 单 向 的 ，TcpServer 会 用 到 Acceptor， 但 
Acceptor 并 不 知道 TcpServer 的 存在 。TcpServer 会 创建 TopConnection， 
但 TcpConnection 并 不 知道 TcpServer 的 存在 。 另 外 L64 可 以 考虑 改 用 
make_shared() 以 节约 一 次 new。 


8.5.2 TcpConnection class 


TcpConnection class 可 谓 是 muduo 最 核心 也 是 最 复杂 的 class， 它 的 
头 文件 和 源 文 件 一 共有 450 多 行 ， 是 muduo 最 大 的 class。 本章 会 用 5 节 的 
篇 幅 来 逐渐 完善 它 。 

TcpConnection 是 muduo 里 唯一 默认 使 用 shared_ptr 来 管理 的 class， 
也 是 唯一 继承 enable_shared_from_this 的 class， 这 源 于 其 模糊 的 生命 
期 ， 原 因 见 84.7。 


reactor/s05/Callbacks.h 
21 class TcpConnection; 
22 typedef boost::shared_ptr<TcpConnection> TcpConnectionPtr; 


reactor/s05/Callbacks.h 


reactor/s05/TcpConnectionh 
30 class TcpConnection : boost::noncopyable, 

31 public boost::enable_shared_from_this<TcpConnection> 

2 下 

33 DUublie: 


本 节 的 TcpConnection 没 有 可 供用 户 使 用 的 水 数 ， 因 此 接口 从 了 略 ， 
以 下 是 其 数据 成 员 。 目 前 TcpConnection 的 状态 只 有 两 个 ，kConnecting 
和 kConnected， 后 面 几 节 会 逐渐 丰富 其 状态 。TcpConnection 使 用 
Channel 来 获得 socket 上 的 IO 事 件 ， 它 会 自己 处 理 writable 事 件 ， 而 把 
readable 事 件 通过 MessageCallback 传 达 给 客户 。TcpConnection 拥 有 TCP 
socket， 它 的 析 构 水 数 会 close(fd) 〈 在 Socket 的 析 构 图 数 中 发 生 ) 。 


61  _ private : 

62 enum StateE { kConnecting, kConnected, }; 
63 

64 void setState(StateE s) { state_ = s; } 

65 void handleRead() ; 

66 

67 EventLoopx loop_; 

68 std: :string name_; 

69 StateE state_; // FIXME: use atomic variable 
70 // we don't expose those classes to client. 
71 boost::scoped_ptr<Socket> Socket_; 

72 boost: :scoped_ptr<Channel> channel_; 

73 InetAddress localAddr_; 

74 InetAddress peerAddr_; 


75 ConnectionCallback connectionCallback_; 
76 MessageCallback messageCallback_; 
TE 


reactor/s05/TcpConnection.h 


注意 TcpConnection 表 示 的 是 “一 次 TCP 连 接 *， 它 是 不 可 再 生 的 ,一 
旦 连接 断 开 ， 这 个 TcpConnection 对 象 就 没 哈 用 了 。 另 外 TcpConnection 
没有 发 起 连接 的 功能 ， 其 构造 冰 数 的 参数 是 已 经 建立 好 连接 的 socket fd 

(无 论 是 TcpServer 被 动 接受 还 是 TcpClient 主 动 发 起 ) ， 因 此 其 初始 状 

态 是 kConnecting。 

本 节 的 MessageCallback 定 义 很 原始 ， 没 有 使 用 Buffer class， 而 只 是 
把 (const char* buf, int len) 传 给 用 户 ， 这 种 接口 用 起 来 无 疑 是 很 不 方便 
的 。 


reactor/s09/TcpConnection.CC 
57 void TcpConnection: :handleRead () 


58 { 

59 char buf[65536] ; 

60 ssize_t n = ::read(channel_->fd(), buf, sizeof buf); 
61 messageCallback_(shared_from_this(), buf, n); 

62 // FIXME: close connection if n == 0 

6 


reactor/s05/TcpConnection.cc 


本 节 的 TcpConnection 只 处 理 了 建立 连接 ， 没 有 处 理 断 开 连 接 ( 例 
如 handleRead0O 中 的 read(2) 返 回 0) ， 接 收 数据 的 功能 很 简陋 ， 也 不 支持 
发 送 数 据 ， 这 些 都 会 逐步 得 到 完善 。 

s05/test8.cc 试验 了 目前 实现 的 功能 ， 它 实际 上 是 个 discard 服 务 。 但 
目前 它 永 远 不 会 关闭 socket， 即 永远 走 不 到 else 分 支 (L14) ， 在 遇 到 对 
方 断 开 连 接 的 时 候 会 陷入 busy loop。88.6 会 处 理 连接 的 断 开 。 


reactor/s05/test8.cc 


6 void onConnection(const muduo: :TcpConnectionPtr& conn) 
直 革 

8 if (conn->connected()) 

9 式 

10 printf("onConnection(): new connection [%s] from %sNn”， 
11 conn->name().c_str(), 

12 conn->peerAddress().toHostPort().c_str()); 
13 3 

14 else 

15 { 

16 printf("onConnection(): connection [%s] is down\n", 
17 conn->name().c_str()); 

18 } 

19 } 

20 

21 void onMessage(const muduo: :TcpConnectionPtr& conn, 

22 const char* data, 

23 ssize_t len) 

2 污 

25 printf("onMessage(): received %zd bytes from connection [%s]\n”", 
26 len, conn->name().c_str()); 

27: } 

28 

29 int main() 

30 { 

31 printf("main(): pid = %d\n”, getpid()); 

32 


33 muduo: :InetAddress listenAddr (9981); 
34 muduo: :EventLoop loop; 


36 muduo: :TcpServer server(&loop, listenAddr); 
37 server.setConnectionCallback(onConnection); 
38 server.setMessageCallback(onMessage); 

39 server.start(); 


41 loop.100p(); 


reactor/s05/test8.cc 


以 上 代码 看 起 来 和 muduo 的 一 般 用 法 已 经 很 接近 了 。 
8.6 ”TcpConnection 断 开 连 接 
muduo 只 有 一 种 关闭 连接 的 方式 : 被 动 关 闭 〈 见 此 处 ) 。 即 对 方 


先 关 闭 连 接 ， 本 地 read(2) 返 回 0， 触 发 关闭 逻辑 。 将 来 如 果 有 必要 也 可 
以 给 TcpConnection 新 增 forceClose0) 成 员 了 图 数 ， 用 于 主动 关闭 连接 ， 实 


现 很 简单 ， 调 用 handleCloseO 即 可 。 子 数 调用 的 流程 见 图 8-5， 其 中 的 
“X” 表 示 TcpConnection 通 常会 在 此 时 析 构 。 


EventLoop Channel ] TcpConnection TcpServer 
loop() | | 
i -> - | 
handleEvent() | 
| be 


handleRead() 
Ld 


| _ handleClose() 
D>、 | 


| removeConn() 


queuelnLoop() 


| | i erasel) 
-一 一 = 


functors() | connectDestroyed() 
| | 


conncCb() 
X 


> 


图 8-5 
一 般 来 讲 数据 的 删除 比 新 建 要 复杂 ，TCP 连 接 也 不 例外 。 关 闭 连接 
的 流程 看 上 去 有 点 “ 绕 ”， 根 本 原因 是 此 处 讲 的 对 象 生命 期 管理 的 需 
要 。 


Channel 的 改动 


Channel class 新 增 了 CloseCallback 事 件 回调 ， 并 且 断 言 (assert()) 
在 事件 处 理 期 间 本 Channel 对 象 不 会 析 构 ， 即 不 会 发 生 此 处 讲 的 出 错 情 
况 。 


reactor/s06/Channel.cc 


32 +Channel::~Channel() 
33 +{ 
34 + assert(!eventHandling_); 
5 
42 void Channel::handleEvent() 
43 【 
44 + eventHandling_ = true; 
45 if (revents_ & POLLNVAL) { 
46 LOG_WARN << "Channel::handle_event() POLLNVAL"; 
47 } 
48 
49 + if ((revents_ & POLLHUP) && !(revents_ & POLLIN)) { 
50 + LOG_WARN << "Channel::handle_event() POLLHUP"; 
5 “地 if (closeCallback_) closeCallback_() ; 
2 
53 if (revents_ & (POLLERR | POLLNVAL)) { 
54 if (errorCallback_) errorCallback_(); 
55 } 
56 if (revents_ & (POLLIN | POLLPRI | POLLRDHUP)) { 
57 if (readCallback_) readCallback_(); 
58 } 
59 if (revents_ & POLLOUT) { 
60 if (writeCallback_) writeCallback_(); 
61 
62 + eventHandling_ = false; 
63 } 
reactor/s06/Channel.cc 
TcpConnection 的 改动 


TcpConnection class 也 新 增 了 CloseCallback 事 件 回调 ， 但 是 这 个 回 
调 是 给 TcpServer 和 TcpClient 用 的 ， 用 于 通知 它们 移 除 所 持 有 的 
TcpConnectionPtr， 这 不 是 给 普通 用 户 用 的 ， 普 通用 户 继续 使 用 


ConnectionCallbacko 
reactor/s06/TcpConnection.h 
56 /// Internal use only. 
57 + void setCloseCallback(const CloseCallback& cb) 
58 + { closeCcallback_ = cb; } 
59 
60 // called when TcpServer accepts a new connection 
61 void connectEstablished();  // should be called only once 
62 + // called when TcpServer has removed me from its map 
63 + void connectDestroyed(); // should be called only once 


TcpConnection 把 另外 几 个 handle*O 事 件 处 理 函 数 也 补 上 了 ， 
handleWrite() 暂 时 为 空 。Channel 的 CloseCallback 会 调用 
TcpConnection::handleClose()， 依 此 类 推 。 


65 private: 

66 ! enum StateE { kConnecting, kConnected, kDisconnected, }; 
67 

68 void setState(StateE s) { state_ = S; } 

69 void handleRead(); 


70 + void handleWrite(); 
71 + void handleClose(); 
72 + void handleError(); 


reactor/s06/TcpConnection.h 


TcpConnection::handleReadO 会 检查 read(2) 的 返回 值 ， 根 据 返 回 值 
分 别 调用 messageCallback_、handleClose()、handleError()。 


reactor/s06/TcpConnection.cc 
74 void TcpConnection::handleRead() 


TS 注 

76 char buf[65536]; 

77 ssize_t n = ::read(channel_->fd(), buf, sizeof buf); 
18 林寺 (n> 站 

79 messageCallback_(shared_from_this(), buf, n); 
80 + } else if (n == 06) { 

81 + handleClose(); 

82 + } elsef{ 

83 + handleError(); 

4 

85 } 


TcpConnection::handleClose() 的 主要 功能 是 调用 closeCallback_， 这 
个 回调 绪 定 到 TcpServer::removeConnection()。 


91 void TcpConnection::handleClose() 


92 { 

93 loop_->assertInLoopThread(); 

94 LOG_TRACE << "TcpConnection::handleClose state = ”<< state_; 
95 assert(state_ == kConnected); 


96 // we don't close fd, leave it to dtor, so we can find leaks easily. 
97 channel_->disableAll(); 

98 // must be the last line 

99 closeCallback_(shared_from_this()); 

L00 } 


es :handleError() 并 没有 进一步 的 行动 ， 只 是 在 日 志 
输出 错误 消息 ， 这 不 影响 连接 的 正常 关闭 。 


102 void TcpConnection: :handleError() 

103 { 

104 int err = sockets::getSocketError(channel_->fd()); 

105 LOG_ERROR << "TcpConnection::handleError [" << name_ 

106 << "] = SO_ERROR = “ -<< err << ” * << strerror_tl(err): 
107 } 


TcpConnection::connectDestroyed() 是 TcpConnection 析 构 前 最 后 调用 
的 一 个 成 员 函 数 ， 它 通知 用 户 连 接 已 断 开 。 其 中 的 L68 与 上 面 的 L97 重 
复 ， 这 是 因为 在 某 些 情况 下 可 以 不 经 由 handleCloseO) 而 直接 调用 
connectDestroyed()o 


63 void TcpConnection::connectDestroyed() 


64 { 
65 loop_->assertInLoopThread(); 
66 assert(state_ == kConnected); 


67 setState(kDisconnected); 

68 channel_->disableAll(); 

69 connectionCallback_(shared_from_this()); 

70 

了 loop_->removeChannel(get_pointer(channel_)); 
2 


reactor/s06/TcpConnection.cc 


TcpServer 的 改动 


TcpServer[ 向 TcpConnection 注 册 CloseCallback， 用 于 接收 连接 断 开 
的 消息 。 


reactor/s06/TcpServer.cc 
50 void TcpServer::newConnection(int sockfd, const InetAddress& peerAddr) 
51 { 


此 处 省 略 没 有 变化 的 代码 。 


63 TcpConnectionPtr conn( 

64 new TcpConnection(loop_, connName, sockfd, localAddr, peerAddr)); 
65 connections_[connName] = conn; 

66 conn->setConnectionCallback(connectionCallback._); 

67 conn->setMessageCallback(messageCal1lback_) ; 

68 + Cconn->setCloseCallback( 

69 + boost::bind(&TcpServer: :removeConnection, this, _1)); 

70 conn->connectEstablished(); 

T1 


reactor/s06/TcpServer.cc 


通常 TcpServer 的 生命 期 长 于 它 建立 的 TcpConnection， 因 此 不 用 担 
心 TcpServer 对 象 失 效 。 在 muduo 中 ，TcpServer 的 析 构 函数 会 关闭 连 
接 ， 因 此 也 是 安全 的 。 

人 这 
时 TecpConnection 已 经 是 命 悬 一 线 : 如 果 用 户 不 持 有 TcepConnectionPtr 的 
话 ，conn 的 引用 计数 已 降 到 1。 注 意 这 里 一 定 要 用 
EventLoop::queueInLoopO0， 人 否则 就 会 出 现 此 处 讲 的 对 象 生命 期 管理 问 
题 。 另 外 注意 这 里 用 boost::bind 计 TcpConnection 的 生命 期 长 到 调用 
connectDestroyed() 的 时 刻 。 


reactor/s06/TcpServer.cc 
73 void TcpServer::removeConnection(const TcpConnectionPtr& conn) 

74 { 

75 loop_->assertInLoopThread(); 

76 LOG_INFO << "TcpServer::removeConnection [" << name_ 


77 << "] - connection ”<< conn->name(); 

78 size_t nNn = connections_.erase(conn->name()); 

79 assert(n == 1); (void)n; 

80 loop_->queueInLoop( 

81 boost::bind(&TcpConnection: :connectDestroyed, conn)); 
82 } 


reactor/s06/TcpServer.cc 


思考 并 验证 : 如 果 用 户 不 持 有 TcpConnectionPtr， 那 么 
TcpConnection 对 象 究竟 在 什么 时 候 析 构 ? 

有 兴趣 的 读者 可 以 单 步 跟 踪 连 接 断 开 的 流程 ，s06/test8.cc 不 会 陷 
入 busy loop。 目 前 的 做 法 不 是 最 简洁 的 ， 但 是 可 以 几乎 原封 不 动 地 用 
到 多 线程 TcpServer 中 (88.10) 。 


EventLoop 和 Poller 的 改动 


本 节 TcpConnection 不 再 是 只 生 不 炎 ， 因 ] 水 Event oop a 从 
unregister 功 能 。EventLoop 新 增 了 removeChannel0) 成 员 函 数 ， 它 会 调用 
Poller::removeChannel()， 后 者 定义 如 下 ， 复 杂 度 oO 


reactor/s06/Poller.cc 


95 void Poller::removeChannel(Channel* channel) 

96 { 

97 assertInLoopThread(); 

98 LOG_TRACE << "fd = ”<< channel->fd(); 

99 assert(channels_.find(channe1l->fd()) != channels_.end()); 
100 assert(channels_[channel->fd()] == channel); 

101 assert(channel->isNoneEvent()); 

102 int idx = channel->index(); 

103 assert(0 <= idx && idx < static_cast<int>(pollfds._.size())); 
104 const struct pollfd& pfd = pollfds_[idx]; (void)pfd; 

105 assert(pfd.fd == -channel->fd()-1 && pfd.events == channel->events()); 
106 size_t n = channels_.erase(channel->fd()); 

107 assert(n == 1); (void)n; 

108 if (implicit_cast<size_t>(idx) == pollfds_.size()-1) { 


109 pollfds_.pop_back(); 

110 } else { 

111 int channelAtEnd = pollfds_.back().fd; 
112 iter_swap(pollfds_.begin()+idx, pollfds._.end()-1); 
113 if (channelAtEnd < 0) { 

114 channelAtEnd = -channelAtEnd-1; 

115 

116 channels_[channelAtEnd]->set_index(idx); 
117 pollfds_.pop_back(); 

118 } 

119 } 


reactor/s06/Poller.cc 


注意 其 中 从 数组 pollfds_ 中 删除 元 素 是 O(1) 复 杂 度 ， 办 法 是 将 待 删 


除 的 元 素 与 最 后 一 个 元 素 交 换 ， 再 pollfds_.pop_backO。 这 需要 相应 地 
修改 此 处 的 代码 : 


reactor/s06/Poller.cc 
79 // update existing one 
80 assert(channels_.find(channel->fd()) != channels_.end()); 
81 assert(channels_[channel->fd()] == channel):; 
82 int idx = channel->index(); 
83 assert(0 <= idx && idx < static_cast<int>(pollfds_.size())); 
84 struct pollfd& pfd = pollfds_[idx]; 
85 |! assert(pfd.fd == channel->fd() || pfd.fd == -channel->fd()-1); 
86 pfd.events = static_cast<short>(channel->events()); 
87 pfd.revents = 0; 
88 if (channel->isNoneEvent()) { 
89 // ignore this pollfd 
90 |! pfd.fd = -channel->fd()-1; 
91 } 
reactor/s06/Poller.cc 


Buffer 取 数据 


Butffer 是 非 阻 塞 TCP 网 络 编程 必 不 可 少 的 东西 《87.4) ， 本 节 介 绍 
用 Buffer 来 处 理 数 据 输入 ， 下 一 节 介绍 数据 输出 。Buffer 是 另 一 个 具有 
值 语义 的 对 象 。 

首先 修改 s07/Callbacks.h 中 MessageCallback 的 定义 ， 现 在 的 参数 和 
muduo 一 样 ， 是 Buffer* 和 Timestamp ， 不 再 是 原始 的 (const char* buf, int 
len)。 


27 typedef boost::function<void (const TcpConnectionPtr& ， 

28 Bufferx buf ， 

29 Timestamp)> MessageCallback: 
其 中 Timestamp 是 poll(2) 返 回 的 时 刻 ， 即 消息 到 达 的 时 刻 ， 这 个 时 

刘 早 于 读 卖 到 数据 的 时 刻 (read(2) 调 用 或 返回 ) 。 因 此 如 果 要 比较 准确 

地 测量 程序 处 理 消息 的 内 部 延迟 ， 应 该 以 此 时 刻 为 起 点 ， 否 则 测 出 来 

的 结果 偏 小 ， 特 别 是 处 理 并 发 连接 时 效果 更 明显 。 (为 什么 ? ) 为 此 

我 们 需要 修改 Channel 中 ReadEventCallback 的 原型 ， 改 动 如 下 。 

EventLoop::loop() 也 需要 有 相应 的 改动 ， 此 处 从 上 略 。 


reactor/s07/Channel.h 


27 class Channel : boost::noncopyable 

29 public: 

30 typedef boost::function<void()> EventCallback; 

31 + typedef boost::function<void(Timestamp)> ReadEventCallback; 


33 Channel (EventLoop* loop, int fd); 


34 ~Channel(); 

35 

36 ! void handleEvent(Timestamp receiveTime); 

37 ! void setReadCallback(const ReadEventCallback& cb) 


38 { readCallback_ = cb; } 


reactor/s07/Channel.h 


5s07/test3.cc 试验 了 以 上 改动 : 


reactor/s07/test3.cc 
9 Ivoid timeout(muduo::Timestamp receiveTime) 


10 

11 ! printf("%s Timeout!\n”, receiveTime.toFormattedString().c_str()); 

12 g_loop->quit(); 

3 于 

14 

15 int main() 

16 

17 + printf("%s started\n", muduo::Timestamp: :now().toFormattedString().c_str()); 
18 muduo: :EventLoop loop; 


19 g_loop = &loop; 
reactor/s07/test3.cc 


8.7.1 ”TcpConnection 使 用 Buffer 作 为 输入 缓冲 


刁 7TR 旦 


先 给 TcpConnection 添 加 inputBuffer 成 员 变 量 。 


reactor/s07/TcpConnection.h 
83 ConnectionCallback connectionCallback_; 

84 MessageCallback messageCallback_; 

85 CloseCallback closeCallback_; 

86 + Buffer inputBuffer_; 

reactor/s07/TcpConnection.h 


然后 修改 TcpConnection::handleRead0 成 员 孙 数 ， 使 用 Buffer 来 读 取 
数据 。 


reactor/s07/TcpConnection.cc 
74 lvoid TcpConnection::handleRead(Timestamp receiveTime) 


75, 挝 

76 ! int savedErrno = 0; 

77 ! ssize_t n = inputBuffer_.readFd(Cchannel_->fd()，&savedErrno) ; 
78 if (Cm >"0) € 

7 messageCallback_(shared_from_this(), &inputBuffer_, receiveTime); 
80 } else if (Cn == 0) { 

81 handleClose(); 

82 } else { 

83 + errno = savedErrno; 

84 + LOG_SYSERR << “TcpConnection: :handleRead ”; 

85 handleError(); 

86 l 

87 Y 


reactor/s07/TcpConnection.cc 


修改 s07/test8.cc 以 试验 本 次 改动 后 的 新 功能 。 


reactor/s07/test8.cc 
21 void onMessage(const muduo::TcpConnectionPtr& conn, 


3% | muduo: :Buffer*x buf, 

23 |! muduo: :Timestamp receiveTime) 

24 【f 

25 + printf("onMessage(): received %zd bytes from connection [%s] at %s\n", 
26 十 buf->readableBytes(), 

28 流 conn->name().c_str(), 

28 + receiveTime.toFormattedString().c_str()); 

29 + 

30 + printf("onMessage(): [%s]\n”", buf->retrieveAsString().c_str()); 

3 3 


reactor/s07/test8.cc 
这 个 测试 程序 看 上 去 和 muduo 的 正式 用 法 没有 区 别 。 
8.7.2 Buffer::readFd() 


我 在 此 处 提 到 Buffer 读 取 数 据 时 兼顾 了 内 存 使 用 量 和 效率 ， 其 实现 
如 下 。 


reactor/s07/Buffer.cc 
18 Sssize_t Buffer::readFd(int fd, int* savedErrno) 
19 { 
20 char extrabuf[65536]; 
21 struct iovec vec[2]; 
22 const size_t writable = writableBytes(); 
23 vec[0].iov_base = begin()+writerIndex_; 
24 vec[0].iov_len = writable; 
25 vec[1].iov_base = extrabuf ; 
26 vec[1].iov_len = sizeof extrabuf ; 
2 const ssize_t n = readv(fd, vec, 2); 
28 Lf (ns Or 
29 *savedErrno = errno; 
30 } else if (implicit_cast<size_t>(n) <= writable) { 
31 WriterIndex_ += nN; 
32 } else { 
33 WriterIndex_ = buffer_.size(); 
34 append(extrabuf, n - writable); 
35 
36 return n; 
37 浮 
reactor/s07/Buffer.cc 


这 个 实现 有 几 点 值得 一 提 。 一 是 使 用 了 scatter/gather IO， 并 且 一 部 
分 缓冲 区 取 自 stack， 这 样 输入 缓冲 区 足够 大 ， 通 党 一 次 readv(2) 调 用 融 
能 取 完 全 部 数据 *。 由 于 输入 缓冲 区 足够 大 ， 也 节省 了 一 次 


ioctl(socketFd, FIONREAD, &length) 系 统 调 用 ， 不 必 事 先知 道 有 多 少数 
据 可 读 而 提前 预 留 (reserve()) Buffer 的 capacity()， 可 以 在 一 次 读 取 之 
后 将 extrabuf 中 的 数据 append() 给 Buffer。 

二 是 Buffer::readFd() 只 调用 一 次 read(2)， 而 没有 反复 调用 read(2) 直 
到 其 返回 EAGAIN。 首 先 ， 这 人 么 做 是 正确 的 ， 因 为 muduo 采 用 level 
trigger， 这 么 做 不 会 丢失 数据 或 消息 。 其 次 ， 对 追求 低 延 运 的 程序 来 
说 ， 这 么 做 是 高 效 的 ， 因 为 每 次 读数 据 只 需要 一 次 系统 调用 。 再 次 ， 
这 样 做 照顾 了 多 个 连接 的 公平 性 ， 不 会 因为 某 个 连接 上 数据 量 过 大 而 
影响 其 他 连接 处 理 消 息 。 

假如 muduo 采 用 edge trigger， 那 么 每 次 handleRead() 至 少 调用 两 次 
read(2)， 平 均 起 来 比 level trigger 多 一 次 系统 调用 ，edge trigger 不 见得 更 
高 效 。 

将 来 的 一 个 改进 措施 是 : 如 果 n == writable 十 sizeof extrabuf， 就 再 
读 一 次 。 


8.8 ”TcpConnection 发 送 数 据 


发 送 数据 比 接收 数据 更 难 ， 因 为 发 送 数 据 是 主动 的 ， 接 收 读 取 数 
据 是 被 动 的 。 这 也 是 本 章 先 介绍 TcpServer 后 介绍 TcpClient 的 原因 。 到 
目前 为 止 ， 我 们 只 用 到 了 Channel 的 ReadCallback: 


“TimerQueue 用 它 来 读 timerfd(2)。 
:EventLoop 用 它 来 读 eventfd(2)。 
"TcpServer/Acceptor 用 它 来 读 listening socket。 
"TcpConnection 用 它 来 读 普通 TCP socket。 


本 节 会 动用 其 WriteCallback， 由 于 muduo 采 用 level trigger， 因 此 我 
们 只 在 需要 时 才 关 注 writable 事 件 ， 否 则 就 会 造成 busy loop。 
508/Channel.h 的 改动 如 下 : 


reactor/s08/Channel.h 


51 void enableReading() { events_ |= kReadEvent; update(); } 

52 ! void enableWriting() { events_ |= kWriteEvent; update(); } 
53 ! void disableWriting() { events_ &= ~kWriteEvent; update(); } 
54 void disableAll() { events_ = kNoneEvent; update(); } 


55 + bool isWriting() const { return events_ & kWriteEvent; } 
一 [eactors08/ChanneLh 


TcpConnection 的 接口 中 增加 了 send0 和 shutdown(O 两 个 图 数 ， 这 两 
个 函数 都 可 以 跨 线程 调用 。 为 了 简单 起 见 ， 本 章 只 提供 一 种 send0) 重 
载 。 


reactor/s08/TcpConnection.h 


51 + //void send(const voidx message, size_t len); 
52 + // Thread safe. 

53 + void send(const std::string& message); 

54 + // Thread safe. 

55 + void shutdown(); 


TcpConnection 的 状态 增加 到 了 4 个 ， 和 目前 muduo 的 实现 一 致 。 


enum StateE { kConnecting, kConnected, kDisconnecting, kDisconnected, }:; 


其 内 部 实现 增加 了 两 个 *InLoop 成 员 消 数 ， 对 应 前 面 的 两 个 新 接口 馈 
数 ， 并 使 用 Buffer 作 为 输出 缓冲 区 。 


78 void handleClose(); 

79 void handleError(); 

80 + void sendInLoop(const std::string& message); 
81 + void shutdownInLoop(); 


94 Buffer inputBuffer_; 
95 + Buffer outputBuffer_; 


reactor/s08/TcpConnection.h 


TcpConnection 有 一 个 非常 简单 的 状态 图 ( 见 图 8-6) 。 


connectEstablished() 


Connecting 
| 人 shutdown() 1 
Connected | Disconnecting | 
- Disconnected 三 
handleClose() handleClose() 


be 


图 8-6 


TcpConnection 在 关闭 连接 的 过 程 中 与 其 他 操作 ( 读 写 事 件 ) 的 交 
互 比较 复杂 ， 尚 需 完 备 的 单元 测试 来 验证 各 种 时 序 下 的 正确 性 。 必 要 
时 可 能 要 新 增 状态 。 

shutdown() 是 线程 安全 的 ， 它 会 把 实际 工作 放 到 shutdownInLoop() 
中 来 做 ， 后 者 保证 在 IO 线 程 调 用 。 如 果 当 前 没有 正在 写 入 ， 则 关闭 瑟 
入 端 。 代 码 注 释 给 出 了 两 个 值得 改进 的 地 方 。 


reactor/s08/TcpConnection.cc 
94 void TcpConnection::shutdown() 


95 
96 // FIXME: use compare and swap 

97 if (state_ == kConnected) 

98 { 

99 setState(kDisconnecting); 

100 // FIXME: shared_from_this()? 
101 loop_->runInLoop(boost::bind(&TcpConnection: :shutdownInLoop, this)); 
102 

103 } 

104 

105 void TcpConnection::shutdownInLoop() 
106 { 


107 loop_->assertInLoopThread(); 
108 if (!channel_->isWriting()) 


109 { 

110 // we are not writing 

111 socket_->shutdownWrite(); 
112 } 

bk : 


reactor/s08/TcpConnection.cc 


由 于 新 增 了 kDisconnecting 状 态 ，TcpConnection::connectDestroyed() 
和 TcpConnection::handleClose() 中 的 assert() 也 需要 相应 的 修改 ， 代 码 从 
略 。 

send() 也 是 一 样 的 ， 如 果 在 非 1O 线 程 调 用 ， 它 会 把 message 复 制 | 一 
份 ， 传 给 IO 线 程 中 的 sendInLoop() 来 发 送 。 这 么 做 或 许 有 轻微 的 效率 损 
失 ， 但 是 线程 安全 性 很 容易 验证 ， 我 认为 还 是 利 大 于 蜂 。 如 果真 的 在 
乎 这 点 性 能 ， 不 如 让 程序 只 在 IO 线程 调用 send(0)。 另 外 在 C++11 中 可 以 
使 用 移动 语义 ， 避 人 免 内 存 拷贝 的 开销 。 


reactor/s08/TcpConnection.cc 
54 void TcpConnection::send(const std::string& message) 


55 

56 if (state_ == kConnected) { 

57 if (loop_->isInLoopThread()) { 

58 sendInLoop(message); 

59 } else { 

60 loop_->runInLoop( 

61 boost::bind(&TcpConnection::sendInLoop, this, message)); 
62 } 

63 } 


sendInLoopO 会 先 党 试 直接 发 送 数据 ， 如 果 一 次 发 送 完毕 就 不 会 启 
用 WriteCallback; 如 果 只 发 送 了 部 分 数据 ， 则 把 剩余 的 数据 放 入 
outputBuffer ， 并 开始 关注 writable 事 件 ， 以 后 在 handlerWrite0 中 发 送 剩 
余 的 数据 。 如 果 当 前 outputBuffer 已 经 有 待 发 送 的 数据 ， 那 么 就 不 能 先 
尝试 发 送 了 ， 因 为 这 会 造成 数据 乱 序 。 


66 void TcpConnection::sendInLoop(const std::string& message) 

er. 汪 

68 loop_->assertInLoopThread(); 

69 ssize_t nwrote = 0; 

70 // if no thing in output queue, try writing directly 

71 if (!channel_->isWriting() && outputBuffer_.readableBytes() == 0) { 


72 nwrote = ::write(channel_->fd(), message.data(), message.size()); 
73 if (nwrote >= 0) { 

74 if (implicit_cast<size_t>(nwrote) < message.size()) { 
75 LOG_TRACE << "I am going to write more data”; 

76 

77 } else { 

78 nwrote = 0; 

79 if (errno != EWOULDBLOCK) { 

80 LOG_SYSERR << “TcpConnection: :SendInLoop”; 

81 } 

82 证 

83 } 


85 assert(nwrote >= 0); 
86 if (implicit_cast<size_t>(nwrote) < message.size()) { 


87 outputBuffer_.append(message.data()+nwrote, message.size()-nwrote); 
88 if (!channel_->isWriting()) { 

89 channel_->enableWriting(); 

90 } 

91 } 

92 } 


reactor/s08/TcpConnection.cc 


当 socket 变 得 可 写 时 ，Channel 会 调用 
TcpConnection::handleWrite()， 这 里 我 们 继续 发 送 outputBuffer_ 中 的 数 
据 。 一 旦 发 送 完 毕 ， 立 刻 停止 观察 writable 事 件 (L160) ， 避 免 busy 
loop。 另 外 如 果 这 时 连接 正在 关闭 (L161) ， 则 调用 
shutdownInLoop()， 继 续 执行 关闭 过 程 。 这 里 不 需要 处 理 错误 ， 因 为 一 
旦 发 生 错 误 ，handleRead() 会 读 到 0 字 节 ， 继 而 关闭 连接 。 


reactor/s08/TcpConnection.cc 
150 void TcpConnection: :handleWrite() 
151 已 
152 loop_->assertInLoopThread(); 
153 if (channel_->isWriting()) { 


154 ssize_t n = ::write(channel_->fd(), 

155 outputBuffer_.peek(), 

156 outputBuffer_.readableBytes()); 
157 in SO € 

158 outputBuffer_.retrieve(n); 

159 if (outputBuffer_.readableBytes() == 0) { 

160 channel_->disableWriting(); 

161 if (state. == kDisconnecting) { 

162 shutdownInLoop(); 

163 } 

164 } else { 

165 LOG_TRACE << "I am going to write more data"; 
166 } 

167 } else { 

168 LOG_SYSERR << "TcpConnection::handleWrite"; 

169 } 

170 } else { 

171 LOG_TRACE << "Connection is down, no more writing"; 
172 3 

Bra 学 


reactor/s08/TcpConnection.cc 


注意 sendInLoop() 和 handleWrite() 都 只 调用 了 一 次 write(2) 而 不 会 
复 调 用 直至 它 返 回 EAGAIN， 原 因 是 如 果 第 一 次 write(2) 没 有 能 够 发 送 
完全 部 数据 的 话 ， 第 二 次 调用 write(2) 几 乎 肯定 会 返回 AGAIN。 读 者 
可 以 很 容易 用 下 面 的 Python 代码 来 验证 这 一 点 。 因 此 muduo 决 定 节 省 一 
次 系统 调用 ， 这 么 做 不 影响 程序 的 正确 性 ， 却 能 降低 延迟 。 


#!/usr/bin/python 
import socket, sys 


sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
sock.connect(('remote_hostname'，9876)) # 这 里 最 好 连接 到 网 络 上 的 一 台 机 器 
Sock .setblocking(0) 

a= 'a' * int(sys.argv[1]) # 两 条 消息 的 长 度 由 命令 行 给 出 ，a 应 该 足够 大 
b= 'b' x int(sys.argv[2]) 

sock. send(a) # 第 一 次 发 送 

0 


n2 = sock.send(b) # 第 二 次 发 送 ， 遇 到 EAGAIN 会 抛 socket.error 异常 
except socket.error as ex: 
print ex # socket.error: [Errno 11] Resource temporarily unavailable 
print nl 
print n2 
Sock.close() 


一 个 改进 措施 : TcpConnection 的 输出 缓冲 区 不 必 是 连续 的 
(outputBuffer_ 改 成 ptr_vector<Buffer>) ，handleWrite() 可 以 用 writev(2) 
来 发 送 多 块 数据 ， 这 样 或 许 能 减 小 内 存 拷 帆 的 次 数 ， 略 微 提 高 性 能 
(但 这 种 性 能 提高 不 一 定 能 被 外 界 感知 ) 。 

在 level trigger 模 式 中 ， 数 据 的 发 送 比较 麻烦 ， 因 为 不 能 一 直 关 注 
writable 事 件 ， 不 过 数据 的 读 取 很 简单 。 我 认为 理想 的 做 法 是 对 readable 
事件 采用 level trigger， 对 writable 事 件 采 用 edge trigger， 但 是 目前 Linux 
不 支持 这 种 设 定 。 

s08/test9.cc 是 echo server (86.4.2) ， 代 码 从 略 。s08/test10.cc 试验 
TcpConnection:: send0 的 功能 ， 它 和 前 面 的 Python 示例 相近 ， 都 是 通过 
命令 行 指定 两 条 消息 的 大 小 ， 然 后 连续 发 送 两 条 消息 。 通 过 选择 不 同 
的 消息 长 度 ， 可 以 试验 不 同 的 code path。 


reactor/s08/test10.cc 
9 void onConnection(const muduo::TcpConnectionPtr& conn) 
10 { 
11 if (conn->connected()) 
12 
13 printf("onConnection(): new connection [%s] from %s\n”, 
14 conn->name().c_str(), 
15 conn->peerAddress().toHostPort().c_str()); 
16 conn->send(message]l); 
17 conn->send(message2); 
18 conn->shutdown(); 
19 } 
20 else 
21 
22 printf("onConnection(): connection [%s] is down\n", 
23 conn->name().c_str()); 
24 } 
25 } 
reactor/s08/test10.cc 


8.9 ”完善 TcpConnection 


至 此 TcpConnection 的 主体 功能 接近 完备 ， 可 以 应 付 大 部 分 muduo 示 
例 的 需求 了 。 本 节 补 充 几 个 小 功能 ， 让 它 成 为 可 以 实用 的 单线 程 非 阻 
塞 TCP 网 络 库 。 


8.9.1 SIGPIPE 


SIGPIPE 的 默认 行为 是 终止 进程 ， 在 命令 行程 序 中 这 是 合理 的 :， 
但 是 在 区 网 络 编程 中 ， 这 意味 着 如 果 对 方 断 开 连接 而 本 地 继续 写 入 的 
话 ， 会 造成 服务 进程 SR 
假如 服务 进程 没有 及 时 处 理 对 方 断 开 连 接 的 事件 ， 就 有 可 
能 出 现在 连 车 接 断 开 之 后 继 纪 卖 发 送 数据 的 情况 。 下 面 这 个 例子 模拟 了 这 
种 情况 


reactor/s09/test10.cc 
10 void onConnection(const muduo: :TcpConnectionPtr& conn) 
11 
12 if (conn->connected()) 
13 
14 printf("onConnection(): new connection [%s] from %s\n", 
15 conn->name().c_str(), 
16 conn->peerAddress().toHostPort().c_str()); 
二 款 if (SleepSeconds > 0) 
18 + 
19 + : :Sleep(SleepSeconds) ; 
20 + 
21 conn->send(messagel); 
2 conn->send(message2); 
23 conn->shutdown(); 
24 } 
reactor/s09/test10.cc 


| 用 nc localhost 9981 创 建 和 连接 之 后 立刻 Ctrl- 
C 断 开 客 户 端 ， 服 务 进程 过 几 秒 就 会 退出 。 解 决 办 法 很 简单 ， 在 程序 开 
hi 可 以 用 C++ 全 局 对 象 做 到 这 一 点 。 


reactor/s09/EventLoop.cc 
38 class IgnoreSigPipe 


40 public: 
41 IgnoreSigPipe() 


43 ::Signal (SIGPIPE, SIG_IGN); 
45 }); 


47 IgnoreSigPipe initobj; 


reactor/s09/EventLoop.cc 


8.9.2 TCP No Delay 和 TCP keepalive 


TCPNoDelay 和 TCPkeepalive 都 是 常用 的 TCP 选 项 ， 前 者 的 作用 是 
禁用 Nagle 算 法 :， 避 免 连续 发 包 出 现 延 迟 ， 这 对 编写 低 延 迟 网 络 服务 很 
重要 。 后 者 的 作用 是 定期 探查 TCP 连 接 是 否 还 存在 。 一 般 来 说 如 果 有 应 
用 层 心跳 的 话 ，TCP keepalive 不 是 必需 的 :， 但 是 一 个 通用 的 网 络 库 应 
该 暴露 其 接口 。 (本 书 不 涉及 TCP_CORK。) 

以 下 是 TcpConnection::setTcpNoDelay() 的 实现 ， 涉 及 3 个 文件 。 


reactor/s09/TcpConnection.h 
55 void shutdown(); 
56 + void setTcpNoDelay(bool on); 


reactor/s09/TcpConnection.h 


reactor/s09/TcpConnection.cc 
118 void TcpConnection: :SetTcpNoDelay(bool on) 


120 socket_->setTcpNoDelay(on); 


reactor/s09/TcpConnection.cc 


reactor/s09/Socket.cc 
60 void Socket::setTcpNoDelay(bool on) 
61 
62 int optval = on ?1 : 90; 
63 ::Setsockopt(sockfd_, IPPROTO_TCP, TCP_NODELAY, 
64 &optval, sizeof optval); 
65 // FIXME CHECK 
66 } 
reactor/s09/Socket.cc 


TcpConnection::setKeepAlive() 的 实现 与 之 类 似 ， 此 处 从 上 略 ， 可 参考 
muduo 产 人 码 。 


8.9.3 WriteCompleteCallback 和 HighWaterMarkCallback 


非 阻塞 网 络 编程 的 发 送 数 据 比 读 取 数 据 要 困难 得 多 : 一 方面 是 $8.8 
提 到 的 “什么 时 候 天 注 writable 事 件 ” 的 问题 ， 这 只 市 来 编码 方面 的 难 
度 ; 另 一 方面 是 如 果 发 送 数据 的 速度 高 于 对 方 接收 数据 的 速度 ， 会 造 
成 数据 在 本 地 内 存 中 堆积 ， 这 带 来 设计 及 安全 性 方面 的 难度 。muduo 对 
此 的 解决 办 法 是 提供 两 个 回调 ， 有 的 网 络 库 把 它们 称 为 “高 水 位 回调 


和 “ 低 水 位 回调 ?"，muduo 使 用 HighWaterMarkCallback 和 
WriteCompleteCallback 这 两 个 名 字 。WriteCompleteCallback 很 容易 理 
解 ， 如 果 发 送 缓 冲 区 被 清空 ， 就 调用 它 。TcpConnection 有 两 处 可 能 触 
发 此 回调 : 


一 reactor/s09/TcpConnection.cc 
66 void TcpConnection::sendInLoop(const std::string& message) 


67 过 

68 loop_->assertInLoopThread(); 

69 sslze_t nwrote = 0; 

70 // if no thing in output queue, try writing directly 

71 if (!channel_->isWriting() && outputBuffer_.readableBytes() == 0) { 
72 nwrote = ::write(channel_->fd(), message.data(), message.size()); 
73 if (nwrote >= 0) { 

74 if (implicit_cast<size_t>(nwrote) < message.size()) { 

75 LOG_TRACE << "I am going to write more data”"; 

i } else if (writeCompleteCallback_) { 

T+ 1oop_->queueInLoop( 

78 + boost::bind(writeCompleteCallback._, shared_from_this())); 
79 

80 } else { 

81 nwrote = 0; 


reactor/s09/TcpConnection.cc 


一 ieactos09/TcpConnection<c 
157 void TcpConnection: :handleWrite() 


158 { 

159 loop_->assertInLoopThread(); 

160 if (channel_->isWriting()) { 

161 ssize_t n = ::write(channel_->fd(), 

162 outputBuffer_.peek(), 

163 outputBuffer_.readableBytes()); 
164 if (n > 0) { 

165 outputBuffer_.retrieve(n), 

166 if (outputBuffer_.readableBytes() == 0) { 

167 channel_->disableWriting(); 

168 + if (writeCompleteCallback_) { 

169 + loop_->queueInLoop( 

170 + boost::bind(writeCompleteCallback_, shared_from_this())); 
171 溃 } 

172 if (state_ == kDisconnecting) { 

173 shutdownInLoop(); 

174 } 


reactor/s09/TcpConnection.cc 


TcpConnection 和 TcpServer 也 需要 相应 地 暴露 WriteCompleteCallback 
的 接口 ， 代 码 从 略 。 


s09/test11.cc 是 chargen 服 务 (87.1) ， 用 到 了 
WriteCompleteCallback， 代 码 从 略 。 

另外 一 个 有 用 的 callback 是 HighWaterMarkCallback， 如 果 输 出 缓冲 
的 长 度 超过 用 户 指定 的 大 小 ， 就 会 触发 回调 (只 在 上 升 沿 触发 一 
次 ) 。 代 码 见 muduo， 此 处 从 略 。 

如 果 用 非 阻塞 的 方式 写 一 个 proxy，proxy 有 C 和 S 两 个 连接 

(87.13) 。 只 考虑 server 发 给 client 的 数据 流 〈 反 过 来 也 是 一 样 ) ， 为 

了 防止 server 发 过 来 的 数据 撑 爆 C 的 输出 缓冲 区 ， 一 种 做 法 是 在 C 的 
HighWaterMarkCallback 中 停止 读 取 S 的 数据 ， 而 在 C 的 
WriteCompleteCallback 中 恢复 读 取 S 的 数据 。 这 就 跟 用 粗 水 管 往 水 桶 里 
治水， 用 细 水 管 从 水 桶 中 取水 一 个 道理 ， 上 下 两 个 水 龙头 要 轮流 开 
合 ， 类 似 PWM。 


8.10 ”多 线程 TcpServer 


本 章 的 最 后 几 节 介绍 三 个 主题 : 多 线程 TcpServer、TcpClient、 
epoll(4)， 主 题 之 间 相 互 独立 。 
本 节 介 绍 多 线程 TcpServer， 用 到 了 EventLoopThreadPool class。 


EventLoopThreadPooll 


用 one loop per thread 的 思想 实现 多 线程 TcpServer 的 关键 步骤 是 在 新 
建 TcpConnection 时 从 event loop pool 里 挑选 一 个 loop 给 TcpConnection 
用 。 也 就 是 说 多 线程 TcpServer 自 己 的 EventLoop 只 用 来 接受 新 连接 ， 而 
新 连接 会 用 其 他 EventLoop 来 执行 IO。 (单线 程 TcpServer 的 EventLoop 
是 与 TcpConnection 共 享 的 。) muduo 的 event loop pool 由 
EventLoopThreadPool class 表 示 ， 接 口 如 下 ， 实 现 从 略 。 


27 class EventLoopThreadPool : boost: :noncopyable 
2 


29 
30 
3 
32 
33 
34 
35 
36 
37 
38 
39 
40 
41 
42 
43 


public: 


EventLoopThreadPool(EventLoop* baseLoop); 
~EventLoopThreadPool() ; 

void setThreadNum(int numThreads) { numThreads_ 
void start(); 

EventLoop* getNextLoop(); 


private: 


站 


EventLoop* baseLoop_; 

bool started_; 

int numThreads_; 

int next_; // always in loop thread 

boost: :ptr_vector<EventLoopThread> threads_; 
std: :vector<EventLoop*> 1]oops_; 


reactor/s10/EventLoopThreadPool.h 


= numThreads; } 


二 十 十 十 十 十 十 十 十 十 十 


reactor/s10/EventLoopThreadPool.h 


TcpServer 每 次 新 建 一 个 TcpConnection 就 会 调用 getNextLoop0O 来 取 
得 EventLoop ， 如 果 是 单线 程 服 务 ， 每 次 返回 的 都 是 baseLoop_， 即 
TcpServer 自 己 用 的 那个 loop。 其 中 setThreadNum() 的 参数 的 意义 见 
TcpServer 代 码 注释 。 


class TcpServer : boost::noncopyable 


i 


public: 


reactor/s10/TcpServer.h 


TcpServer(EventLoop* loop, const InetAddress& listenAddr); 
~TcpServer(); // force out-line dtor, for scoped_ptr members. 


/// Set the number of threads for handling input. 


FEL 


/// Always accepts new connection in loop's thread. 


/// Must be called before @c start 
/// @param numThreads 


/// - 0 means all I/0 in loop's thread, no thread will created. 


/// this is the default value. 
/// - 1 means all I/O in another thread. 


/// - N means a thread pool with N threads, new connections 


/// are assigned on a round-robin basis. 
void setThreadNum(int numThreads); 


TcpServer 只 用 增加 一 个 成 员 孙 数 和 一 个 成 员 变 量 。 


private : 

/// Not thread safe, but in loop 

void newConnection(int sockfd, const InetAddress& peerAddr); 
/// Thread safe. 

void removeConnection(const TcpConnectionPtr& conn); 

/// Not thread safe, but in loop 

void removeConnectionInLoop(const TcpConnectionPtr& conn); 


typedef std::map<std::string, TcpConnectionPtr> ConnectionMap; 


EventLoopx loop_; // the acceptor loop 
const std::string name_; 
boost::scoped_ptr<Acceptor> acceptor_; // avoid revealing Acceptor 
boost: :scoped_ptr<EventLoopThreadPool> threadPool_; 
reactor/s10/TcpServerh 


多 线程 TcpServer 的 改动 很 简单 ， 新 建 连接 只 改 了 3 行 代码 。 原 来 是 


把 TcpServer 自 用 的 loop_ 传 给 TcpConnection， 现 在 是 每 次 从 
EventLoopThreadPool 取 得 ioLoop。L81 的 作用 是 让 TcpConnection 的 
ConnectionCallback 由 ioLoop 线 程 调用 。 


reactor/s10/TcpServer.cc 


void TcpServer::newConnection(int sockfd, const InetAddress& peerAddr) 


InetAddress localAddr(sockets: :getLocalAddr (sockfd)); 
// FIXME poll with zero timeout to double confirm the new connection 
EventLoop* ioLoop = threadPool_->getNextLoop(); 
TcpConnectionPtr conn( 

new TcpConnection(ioLoop, connName, sockfd, localAddr, peerAddr)); 
connections_[connName] = conn; 
conn->setConnectionCallback(connectionCallback_); 
conn->setMessageCal1lback(messageCallback_) ; 
conn->setWriteCompleteCallback(writeCompleteCallback._); 
conn->setCloseCallback( 

boost::bind(&TcpServer: :removeConnection, this, _1)); // FIXME: unsafe 
ioLoop->runInLoop(boost::bind(&TcpConnection: :connectEstablished, conn)); 


reactor/s10/TcpServer.cc 


连接 的 销毁 也 不 复杂 ， 把 原来 的 removeConnection0 拆 为 两 个 聊 


数 ， 因 为 TcpConnection 会 在 自己 的 ioLoop 线 程 调用 
removeConnection()， 所 以 需要 把 它 移 到 TcpServer 的 loop 线程 (因为 
TcpServer 是 无 锁 的 ) 。L98 再 次 把 connectDestroyed0O 移 到 TcpConnection 
的 ioLoop 线 程 进行 ， 是 为 了 保证 TcpConnection 的 ConnectionCallback 始 
终 在 其 ioLoop 回 调 ， 方 便 客 户 端 代 码 的 编写 。 


reactor/s10/TcpServer.cc 


84 void TcpServer::removeConnection(const TcpConnectionPtr& conn) 
{ 
86 + // FIXME: unsafe 
87 + loop_->runInLoop(boost::bind(&TcpServer::removeConnectionInLoop, this, conn)); 


88 +} 


90 +void TcpServer::removeConnectionInLoop(const TcpConnectionPtr& conn) 


gt “4 

92 loop_->assertInLoopThread(); 

93 ! LOG_INFO << "TcpServer::removeConnectionInLoop [”<< name_ 
94 << "] - connection ”<< conn->name(); 

95 size_t n = connections_.erase(conn->name()); 

96 assert(n == 1); (void)n; 

97 + EventLoop* ioLoop = conn->getLoop(); 

98 ! ioLoop->queueInLoop( 

99 boost::bind(&TcpConnection: :connectDestroyed, conn)); 
100  】 


reactor/s10/TcpServer.cc 


总 而 言 之 ，TcpServer 和 TcpConnection 的 代码 都 只 处 理 单线 程 的 情 
况 (甚至 都 没有 mutex 成 员 ) ， 而 我 们 借助 EventLoop::runInLoopO 并 引 
入 EventLoopThreadPool 让 多 线程 TcpServer 的 实现 易如反掌 。 注 意 
ioLoop 和 1loop_ 间 的 线程 切换 都 发 生 在 连接 建立 和 断 开 的 时 刻 ， 不 影响 
正常 业务 的 性 能 。 

muduo 目 前 采用 最 简单 的 round-robin 算 法 来 选取 pool 中 的 
EventLoop， 不 允许 TcpConnection 在 运行 中 更 换 EventLoop， 这 对 长 连 
接 和 短 连接 服务 都 是 适用 的 ， 不 易 造 成 偏 载 。muduo 目 前 的 设计 是 每 个 
TcpServer 有 自己 的 EventLoopThreadPool， 多 个 TcpServer 之 间 不 共享 
EventLoopThreadPool。 将 来 如 果 有 必要 ， 也 可 以 多 个 TcpServer 共 享 
EventLoopThreadPool， 比 方 ee 有 多 个 等 价 口 ， 每 个 
TcpServer 负 责 一 个 端口 ， 而 来 自 这 些 端口 的 连接 (S) 共 享 一 
EventLoopThreadPool。 

另外 一 种 可 能 的 用 法 是 一 个 EventLoop aLoop 供 两 个 TcpServer 使 用 

(a 和 b) 。 其 中 a 是 单线 程 服务 ，aLoop 既 要 accept(2) 连 接 也 要 执行 IO ; 

而 b 是 多 线程 服务 ， 有 自己 的 EventLoopThreadPool， 只 用 aLoop 来 
accept(2) 连 接 。aLoop 上 还 可 以 运行 几 个 TcpClient。 这 些 搭配 都 是 可 行 


的 ， 这 也 正 是 EventLoop 的 灵活 性 所 在 ， 可 以 根据 需要 在 多 个 线程 间 调 
配 负载 。 
本 节 更 新 了 test8~test11， 均 支持 多 线程 。 


8.11 Connector 


主动 发 起 连接 比 被 动 接受 连接 要 复杂 一 些 ， 一 方面 是 错误 处 理 麻 
烦 ， 另 一 方面 是 要 考虑 重 试 。 在 非 阻 塞 网 络 编程 中 ， 发 起 连接 的 基本 
方式 是 调用 connect(2)， 当 socket 变 得 可 写 时 表明 连接 建立 完毕 。 当 然 这 


其 中 要 处 理 各 种 类 型 的 错误 ， 因 此 我 们 把 它 封 装 为 Connector class。 接 
口 如 下 : 


reactor/s11/Connector.h 
25 Cclass Connector : boost::noncopyable 

26 { 

27 public: 

28 typedef boost::function<void (int sockfd)> NewConnectionCallback; 


30 Connector(EventLoop* loop, const InetAddress& serverAddr); 
31 ~Connector(); 


33 void setNewConnectionCallback(const NewConnectionCallback& cb) 
34 { newConnectionCallback_ = cb; } 


36 void start(); // can be called in any thread 
37 void restart(); // must be called in loop thread 
38 void stop(); // can be called in any thread 


reactor/s11/Connector.h 

Connector 只 负责 建立 socket 连 接 ， 不 负责 创建 TcpConnection， 它 的 

NewConnectionCallback 回 调 的 参数 是 socket 文 件 描述 符 。 以 下 是 一 个 简 
单 的 测试 (s11/test12.cc ) ， 它 会 反复 尝试 直至 成 功 建立 连接 。 


reactor/s11/test12.cc 


6 muduo::EventLoop* g_loop; 

3 

8 void connectCallback(int sockfd) 
og 全 

10 printf("connected.\n"); 

11 g_loop->quit(); 

4 3 


14 int main(int argc, char* argv[]) 

3 汪 

16 muduo: :EventLoop loop; 

17 g_loop = &loop; 

18 muduo: :InetAddress addr("127.0.0.1", 9981); 

19 muduo: :ConnectorPtr connector(new muduo: :Connector(&loop，addr) ); 
20 connector->setNewConnectionCallback(connectCallback); 

21 connector->start(); 


23 loop.1loop(); 


reactor/s11/test12.cc 


Connector 的 实现 有 几 个 难点 : 


:socket 是 一 次 性 的 ， 一 旦 出 错 (比如 对 方 拒绝 连接 ) ， 就 无 法 恢 
复 ， 只 能 关闭 重 来 。 但 Connector 是 可 以 肥 复 使 用 的 ， 因此 每 次 尝试 连 
接 都 要 使 用 新 的 socket 文 件 描述 符 和 新 的 Channel 对 象 。 要 留意 Channel 
对 象 的 生命 期 管理 ， ee 述 符 泄 漏 。 

:错误 代码 与 accept(2) 不 同 ，EAGAIN 是 真 的 错误 ， 表 明 本 机 
ephemeral port 暂 时 用 完 ， 要 关闭 socket 再 延期 重 试 。 “正在 连接 ”的 返回 
码 是 EINPROGRESS。 另 外 ， 即 便 出 现 socket 可 写 ， 也 不 一 定 意味 着 连 
接 已 成 功 建立 ， 还 需要 用 getsockopt(sockfd, SOL_SOCKET, 
SO_ERROR, ...) 再 次 确认 一 下 。 

I 例如 0.5sS、1s、2s、4s， 直 至 30s， 即 
back-off。 这 会 造成 对 象 生命 期 管理 方面 的 困难 ， 如 果 使 用 
EventLoop: A 定时 器 到 期 之 前 析 构 了 怎么 
办 ? 本 节 的 做 法 是 在 Connector 的 析 构 遂 数 中 注销 定时 器 。 

要 处 理 自 连接 (self-connection) 。 出 现 这 种 状况 的 原因 如 下 。 在 
发 起 连接 的 时 候 ，TCP/IP 协 议 栈 会 先 选择 sourceIP 和 sourceport， 在 没有 


显 式 调 用 bind(2) 的 情况 下 ，source IP 由 路 由 表 确 定 ，source port 由 
TCP/IP 协 议 栈 从 local port range: 中 选取 尚未 使 用 的 port 〈 即 ephemeral 
port) 。 如 果 destination IP 正 好 是 本 机 ， 而 destination port 位 于 local port 
range， 且 没有 服务 程序 监听 的 话 ，ephemeral port 可 能 正好 选中 了 
destination port， 这 就 出 现 (source IP, source port) 二 (destination IP, 
destination porb 的 情况 ， 即 发 生 了 自 连 接 。 处 理 办 法 是 断 开 连接 再 重 
试 ， 否 则 原本 侦 听 destination port 的 服务 进程 也 无 法 启动 了 。 


这 里 就 不 展示 Connector class 了， 读者 可 以 带 着 以 上 疑问 去 阅读 
muduo 产 人 码 。 

练习 1: 改写 s11/test12.cc ， 通 过 命令 行 控制 它 发 起 N 个 并 发 连接 ， 
可 用 于 测试 TCP 网 络 服务 程序 的 并 发 性 。 注 意 这 个 练习 可 能 没有 想象 中 
那么 简单 ， 如 果 同 时 发 起 10000 个 连接 ， 那 么 某 些 TCP SYN 分 节 可 能 
包 ， 而 操作 系统 默认 重 发 SYN 的 延 时 是 3 秒 ， 我 们 无 法 直接 控制 。 因 此 
需要 控制 并 发 度 ， 采 用 流水 作业 ， 尽 量 减少 丢 包 。 

练习 2: 验证 自 连 接 出 现 的 情况 。 


TimerQueue::cancel() 


8§8.2 实 现 的 TimerQueue 不 能 注销 定时 器 ， 本 节 补 充 这 一 功能 。 
TimerQueue:: cancel0 的 一 种 简单 实现 是 用 shared_ptr 来 管理 Timer 对 象 ， 
再 将 TimerId 定 义 为 weak_ptr<Timer>， 这 样 几乎 不 用 我 们 做 什么 事情 。 
在 C++11 中 应 该 也 足够 高 效 ， 因 为 shared_ptr 具 备 移动 语义 ， 可 以 做 到 
引用 计数 值 始终 不 变 ， 没 有 原子 操作 的 开销 。 但 用 shared_ptr 来 管理 
Timer 对 象 似 乎 显得 有 点 小 题 大 做 ， 而 且 这 种 做 法 也 有 一 个 小 小 的 缺 
点 ， 如 果 用 户 一 直 持 有 TimerId， 会 造成 引用 计数 所 占 的 内 存 无 法 释 
放 ， 而 本 节 展 示 的 做 法 不 会 有 这 个 问题 。 

本 节 采 用 更 传统 的 方式 ， 保 持 现 有 的 设计 ， 让 TimerId 包 合 
Timer*。 但 这 是 不 够 的 ， 因 为 无 法 区 分 地 址 相同 的 先后 两 个 Timer 对 
象 。 因 此 每 个 Timer 对 象 有 一 个 全 局 递增 的 序列 号 int64_t sequence (用 
原子 计数 器 (AtomicInt64) 生成 ) ，TimerId 同 时 保存 Timer* 和 


sequence_， 这 样 TimerQueue::cancel() 就 能 根据 TimerId 找 到 需要 注销 的 
Timer 对 象 。 


reactor/si1/Timer.h 
0 LA 
21 /// Internal class for timer event. 
22: A 
23 class Timer : boost::noncopyable 
24 { 
25 public: 
26 Timer(const TimerCallback& cb, Timestamp when, double interval) 
27 : callback_(cb), 
28 expiration_(when), 
29 interval_(interval), 
30 repeat_(interval > 0.0)， 
31 sequence_(s_numCreated_.incrementAndGet()) 
32 { 
33 } 
46 private: 
47 const TimerCallback callback_; 
48 Timestamp expiration_; 
49 const double interval_; 
50 const bool repeat_; 
51 const int64_t Sequence_; 
52 
53 static AtomicInt64 s_numCreated._; 
4 3 
reactor/s11/Timer.h 
TimerQueue 新 增 了 cancel() 接 口 遂 数 ， 这 个 遂 数 是 线程 安全 的 。 
reactor/s11/TimerQueue.h 
32 class TimerQueue : boost::noncopyable 
33 { 
34 public: 
47 void cancel(TimerId timerId); 
48 
49 private : 
50 
51 // FIXME: use unique_ptr<Timer> instead of raw pointers. 
52 typedef std::pair<Timestamp, Timer*> Entry; 
53 typedef std: :set<Entry> TimerList; 
54 typedef std::pair<Timer*, int64_t> ActiveTimer; 
55 typedef std: :Set<ActiveTimer> ActiveTimerSet; 
56 
57 void addTimerInLoop(Timer* timer); 
58 void cancelInLoop(TimerId timerId); 


cancel0) 有 对 应 的 cancelInLoop0O 图 数 ， 因 此 TimerQueue 不 必用 锁 。 
TimerQueue 新 增 了 几 个 数据 成 员 ，activeTimers 保存 的 是 目前 有 效 的 


Timer 的 指针 ， 并 满足 invariant: timers_ 下 == activeTimers_ .Size()， 


因为 这 两 个 容器 保存 的 是 相同 的 数据 ， 只 不 过 timers_ 是 按 到 期 时 间 排 
序 ，activeTimers_ 是 按 对 象 地 址 排序 。 

70 // Timer list sorted by expiration 

71 TimerList timers_; 

72. 二 

73 + // for cancel() 

74 + bool callingExpiredTimers_; /* atomic */ 

75 + ActiveTimerSet activeTimers_; 

76 + ActiveTimerSet cancelingTimers_; 


~ 
| 
一 
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由 于 TimerId 不 负责 Timer 的 生命 期 ， 其 中 保存 的 Timer* 可 能 失效 ， 
因此 不 能 直接 dereference， 只 有 在 activeTimers_ 中 找到 了 Timer 时 才能 提 
领 。 注 销 定时 器 的 流程 如 下 ， 照 例 用 EventLoop::runInLoop(O 将 调用 转 
发 到 IO 线程 : 


119 
120 
121 
122 
123 


136 
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154 


reactor/s11/TimerQueue.cc 
void TimerQueue: :cancel(TimerId timerId) 


loop_->runInLoop( 


boost::bind(&TimerQueue: :cancelInLoop, this, timerId)):; 
} 
void TimerQueue: :cancelInLoop(TimerId timerId) 
{ 
loop_->assertInLoopThread(); 
assert(timers_.Size() == activeTimers_.Size()); 
ActiveTimer timer(timerId.timer_，timerId.sequence_); 
ActiveTimerSet: :iterator it = activeTimers_.find(timer); 
if (it != activeTimers_.end()) 
二 
size_t n = timers_.erase(Entry(it->first->expiration(), it->first)); 
assert(n == 1); (void)n; 
delete it->first; // FIXME: no delete please 
activeTimers_.erase(it); 
else if (callingExpiredTimers_) 
{ 
cancelingTimers_.insert(timer); 
} 
assert(timers_.size() == activeTimers_.size()); 
} 


reactor/s11/TimerQueue.cc 


上 面 这 上段 代码 中 的 cancelingTimers_ 和 callingExpiredTimers_ 是 为 了 


应 对 “ 自 注 销 ” 这 种 情况 ， 即 在 定时 器 回调 中 注销 当前 定时 器 : 


sl1/test4.cc 
muduo: :EventLoop* g_loop; 
muduo: :TimerId toCancel; 


void cancelSelf() 


print("cancelSelf()"); 


g_loop->cancel(toCancel); 


】 


int main() 


muduo: :EventLoop loop; 
g_1oop = &loop; 


toCancel = loop.runEvery(5, cancelSelf); 
Loop.1oop() ; 


S11/test4.CC 


\ 


运行 到 L14 的 时 候 ，toCancel 代 表 的 Timer 已 经 不 在 timers_ 和 


activeTimers 这 两 个 容器 中 ， 而 是 位 于 L162 的 expired 中 〈 见 此 处 的 
getExpired() 实 现 ) 。 


156 


161 


172 
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void TimerQueue: :handleRead() 


{ 


loop_->assertInLoopThread(); 
Timestamp now(Timestamp: :now()); 
readTimerfd(timerfd_, now); 


std: :vector<Entry> expired = getExpired(now); 


callingExpiredTimers_ = true; 

cancelingTimers_.clear(); 

// safe to callback outside critical section 

for (std::vector<Entry>::iterator it = expired.begin(); 
it != expired.end(); ++it) 

{ 


it->second->run(); 
callingExpiredTimers_ = false; 


reset(expired, Now); 


为 了 应 对 这 种 情况 ，TimerQueue 会 记 住 在 本 次 调用 到 期 Timer 期 间 


有 哪些 cancel0 请 求 ， 并 且 不 再 把 已 cancel0 的 Timer 添 加 回 timers_ 和 


activeTimers 当中 。 


198 void TimerQueue: :reset(const std: :vector<Entry>& expired, Timestamp now) 


199 攻 

200 Timestamp nextExpire; 

201 

202 for (std::vector<Entry>::const_iterator it = expired.begin(); 
203 it != expired.end(); ++it) 

204 { 

205 + ActiveTimer timer(it->second, it->second->sequence()); 

206 |! if (it->second->repeat() 

207 二 && cancelingTimers_.find(timer) == cancelingTimers_.end()) 
208 

209 it->second->restart (now); 

210 insert(it->second); 

211 } 

212 else 

213 { 

214 // FIXME move to a free list 

215 delete it->second; 

216 } 


217 } 
_ - reactor/s11/TimerQueue.cc 


注意 TimerQueue 在 执行 L170 时 没有 检查 Timer 是 否 已 撤销 ， 这 
为 TimerQueue::cancel() 并 不 提供 strong guarantee。 
TimerQueue::getExpired0 和 TimerQueue::insert0 均 增加 了 与 activeTimers 
有 关 的 处 理 ， 此 处 从 略 。 


8.12 TcpClient 


有 了 Connector，TcpClient 就 不 难 实现 了 ， 它 的 代码 与 TcpServer 其 
至 有 几 分 上 人 以 (都 有 newConnection 和 removeConnection() 这 两 个 成 员 也 | 
数 ) ， 只 Tn 管理 一 个 TcpConnection。 代 码 从 略 ， 此 
处 谈 几 个 二 5 


.TcpClient 具 备 TcpConnection 断 开 之 后 重新 连接 的 功能 ， 加 上 
Connector 具 备 反 复 尝 试 连接 的 功能 ， 因 此 客户 端 和 服务 端的 启动 顺序 
无 关 紧 要 。 可 以 先 启动 客户 端 ， 一 旦 服务 Ee 和 
复 连接 (由 Connector:: kMaxRetryDelayMs 常 数控 制 ) ; 在 客户 端 运 
期 间 服 务 端 可 以 重启 ， 客 户 端 也 会 自动 重 连 


.连接 断 开 后 初次 重 试 的 延迟 应 该 有 随机 性 ， 比 方 说 服务 端 朋 溃 ， 
它 所 有 的 客户 连接 同时 断 开 ， 然 后 0.5s 之 后 同时 再 次 发 起 连接 ， 这 样 既 
可 能 造成 SYN 丢 包 ， 也 可 能 给 服务 端 带 来 短期 大 负载 ， 影 响 其 服务 质 
量 。 因 此 每 个 TcpClient 应 该 等 待 一 段 随 机 的 时 间 (0.5~2s) ， 再 重 
试 ， 避 免 拥 塞 。 

:发 起 连接 的 时 候 如 果 发 生 TCP SYN 丢 包 ， 那 么 系统 默认 的 重 试 间 
隔 是 3s， 这 期 间 不 会 返回 错误 码 ， 而 且 这 个 间隔 似乎 不 容易 修改 。 如 
果 需 要 缩短 间隔 ， 可 以 再 用 一 个 定时 器 ， 在 0.5s 或 1s 之 后 发 起 另 一 次 连 
接 :。 如 果 有 需求 的 话 ， 这 个 功能 可 以 做 到 Connector 中 。 

:目前 本 节 实 现 的 TcpClient 没 有 充分 测试 动态 增 减 的 情况 ， 也 就 是 
说 没有 充分 测试 TcpClient 的 生命 期 比 EventLoop 短 的 情况 ， 特 别 是 没 
充分 测试 TcpClient 在 连接 建立 期 间 析 构 的 情况 。 编 写 这 方面 的 单元 测 
试 多 半 要 用 到 812.4 介 绍 的 技术 。 


注意 目前 muduo 0.8.0 采 用 shared_ptr 来 管理 Connector， 因 为 在 编写 
这 部 分 代码 的 时 候 TimerQueue 尚 不 支持 cancel0 操 作 。 将 来 muduo 1.0 会 
在 充分 测试 的 前 提 下 改 用 这 里 展示 的 简洁 的 实现 。 


8.13 epoll 


epoll(4) 是 Linux 独 有 的 高 效 的 IO multiplexing 机 制 ， 它 与 poll(2) 的 不 
同 之 处 主要 在 于 poll(2) 每 次 返回 整个 文件 描述 得 数组 ， 用 户 代 码 需 要 人 遍 
历数 组 以 找到 哪些 文件 描述 符 上 有 IO 事 件 ( 见 此 处 的 
Poller::fillActiveChannels()) ， 而 epoll_wait(2) 返 回 的 是 活动 fd 的 列表 ， 
需要 遍历 的 数组 通常 会 小 得 多 。 在 并 发 连接 数 较 大 而 活动 连接 比例 不 
高 时 ，epoll(4) 比 poll(2) 更 高 效 。 

本 节 我 们 把 epoll(4) 封 装 为 EPoller class， 它 与 88.1.2 的 Poller class 具 
有 完全 相同 的 接口 。muduo 实 际 的 做 法 是 定义 Poller 基 类 并 提供 两 份 实 
现 PollPoller 和 EPollPoller。 这 里 为 了 简单 起 见 ， 我 们 直接 修改 
EventLoop， 只 需 把 代码 中 的 Poller 替 换 为 EPoller。 


EPoller 的 关键 数据 结构 如 下 ， 其 中 events_ 不 是 保存 所 有 关注 的 fd 
列表 ， 而 是 一 次 epoll_wait(2) 调 用 返回 的 活动 fd 列表 ， 它 的 大 小 是 自 适 
应 的 。 


typedef std::vector<struct epoll_event> EventList; 
typedef std::map<int, Channel*> ChannelMap; 

int epollfd_; // ::epoll_create() 
EventList events_; 

ChannelMap channels_; 


struct epoll_event 的 定义 如 下 ， 注 意 epoll_data 是 个 union，muduo 使 
用 的 是 其 pt 成员， 用 于 存放 Channel*， 这 样 可 以 减少 一 步 look up。 


typedef union epoll_data 
€ 


void *ptr; 

int fd; 

int US2 

Uint64_t U64; 
} epoll_data_t; 


struct epoll_event 


{ 

uint32_t events; /* Epoll events */ 

epoll_data_t data; /* User data variable */ 
}; 

为 了 减少 转换 ，muduo Channel 没 有 自己 定义 IO 事件 的 常量 ， 而 是 
直接 使 用 poll(2) 的 定义 (POLLIN、POLLOUT 等 等 ) ， 在 Linux 中 它们 
和 epoll(4) 的 常量 相等 。 


reactor/s13/EPoller.cc 
23 // On Linux, the constants of poll(2) and epoll(4) 

24 // are expected to be the same. 

25 BOOST_STATIC_ASSERT(EPOLLIN == POLLIN) ; 

26 BOOST_STATIC_ASSERT(EPOLLPRI == POLLPRI); 

27 BOOST_STATIC_ASSERT(EPOLLOUT == POLLOUT); 

28 BOOST_STATIC_ASSERT(EPOLLRDHUP == POLLRDHUP ) ; 

29 BOOST_STATIC_ASSERT(EPOLLERR == POLLERR); 

30 BOOST_STATIC_ASSERT(EPOLLHUP == POLLHUP); 

reactor/s13/EPoller.cc 


EPoller::poll(0 的 关键 代码 如 下 。L58 在 C++11 中 可 写 为 
events_.data()。L68 表 示 如 果 当 前 活动 fd 的 数目 填 满 了 events_， 那 么 下 
次 就 尝试 接收 更 多 的 活动 fd。events_ 的 初始 长 度 是 16 

(kInitEventListSize) ， 其 会 根据 程序 的 IO 繁忙 程度 自动 增长 ， 但 目前 
不 会 自动 收缩 。 
reactor/s13/EPoller.cc 


55 Timestamp EPoller::poll(int timeoutMs, ChannelList* activeChannels) 
56 { 


57 int numEvents = ::epoll_wait(epollfd._, 

58 &xevents_.begin(), 

59 static_cast<int>(events_.size()), 
60 timeoutMs); 


61 Timestamp now(Timestamp: :now()); 

62 if (numEvents > 0) 

63 { 

64 LOG_TRACE << numEvents << ”events happended"; 


65 fillActiveChannels(numEvents, activeChannels); 
66 if (implicit_cast<size_t>(numEvents) == events_.size()) 
67 { 
68 events_.resize(events_.size()*2); 
69 } 
70 } 
. ~ 

此 处 epoll_wait(2) 的 错误 处 理 从 略 。 
79 return now; 
80 } 


reactor/s1 3/EPoller.cc 


EPoller::fillActiveChannels() 的 功能 是 将 events_ 中 的 活动 fd 填 入 
activeChannels， 其 中 L90~L93 是 在 检查 invariant。 


reactor/s1 3/EPoller.cc 


82 void EPoller::fillActiveChannels(int numEvents, 
83 ChannelList* activeChannels) const 
84 { 

85 assert(implicit_cast<size_t>(numEvents) <= events_.size()); 

86 for (int i = 6; i < numEvents; ++i) 


87 { 

88 Channel* channel = static_cast<Channel*>(events_[i].data.ptr); 
89 #ifndef NDEBUG 

90 int fd = channel->fd(); 

91 ChannelMap: :const_iterator it = channels_.find(fd); 
92 assert(it != channels_.end()); 

93 assert(it->second == channel); 

94 #endif 

95 channel->set_revents(events_[i].events); 

96 activeChannels->push_back(channel); 

97 } 

98 } 


reactor/s1 3/EPoller.cc 


updateChannel0 和 removeChannel0 的 代码 从 略 。 因 为 epoll 是 有 状态 
的 ， 因 此 这 两 个 函数 要 时 刻 维护 内 核 中 的 fd 状态 与 应 用 程序 的 状态 相 
符 ，Channel::index() 和 Channel::set_index() 被 挪用 为 标记 此 Channel 是 否 
位 于 epoll 的 关注 列表 之 中 。 这 两 个 水 数 的 复杂 度 是 O(logN)， 因 为 Linux 
内 核 用 红 黑 树 来 管理 epoll 关 注 的 文件 描述 符 清 单 。 

测试 程序 无 须 修 改 ， 全 都 已 经 自动 用 上 了 epoll(4)。 

至 此 ， 一 个 基于 事件 的 非 阻塞 TCP 网 络 库 已 经 初 具 规模 。 


8.14 ”测试 程序 一 览 


本 章 简要 介绍 了 muduo 的 实现 过 程 ， 是 一 个 具有 教学 示范 意义 的 项 

， 和 希望 有 人 loop per thread 这 一 编程 模型 背后 的 实现 ， 
i 如 果 对 本 章 代 码 有 疑问 ， 应 该 以 最 新 版 的 
muduo 源 人 码 为 准 。 

本 节 没 有 配套 代码 ， 以 下 列 出 前 面 各 节 出 现 的 测试 代码 的 功能 。 


.88.0 ”s00/testl.cc ”在 两 个 线程 里 各 自 运 行 一 个 EventLoop。 
.88.0 ”s00/test2.cc ”试图 在 非 1O 线 程 调用 EventLoop::loop()， 程 序 


Li 中 
朋 页 o 


.88.1 SO0t/ptest3cc ”用 Channel 关 注 timerfd 的 可 读 事件 。 

.88.2 ”s02/test4.cc ”TimerQueue 示 例 。 

.88.3 s03/test5.cc ”IO 线 程 调用 EventLoop::runInLoop() 和 
EventLoop::runAfter()。 

.88.3 ”5s03/test6.cc ” 跨 线 程 调用 EventLoop::runInLoopO 和 
EventLoop::runAfter()。 

“88.4 ”5s04/test7cc ”Acceptor 示 例 。 

.8$8.5 ”s05/test8.cc ”discard 服 务 。 

.8$8.8 ”s08/test9.cc ”echo 服 务 。 

“8§8.8”s08/test10.cc ”发 送 两 次 数据 ， 测 试 TcpConnection::send()。 

.88.9 s09/test11.cc ”chargen 服 务 ， 使 用 WriteCompleteCallback。 

88.11 sl11/test12.cc ”Connector 示 例 |。 

.88.12 ”s12/test13.cc ”TcpClient 示 例 。 


本 章 Acceptor、Connector、Reactor 等 术语 是 Douglas Schmidt 发 明 


的 ， 他 的 原始 论文 出 处 是 


- 


-http://www.cs.wustl.edu/~schmidt/PDF/Reactor1-93.pdf 
-http://www.cs.wustl.edu/~schmidt/PDF/Reactor2-93.pdf 
:http://www.cs.wustl.edu/~schmidt/PDF/reactor-siemens.pdf 
‘http://www.cs.wustl.edu/~schmidt/PDF/reactor-rules.pdf 
:http://www.cs.wustl.edu/~schmidt/PDF/Acceptor.pdf 
:http://www.cs.wustl.edu/~schmidt/PDF/Connector.pdf 
:http://www.cs.wustl.edu/~schmidt/PDF/Acc-Con.pdf 


我 在 一 篇 访谈 :中 谈 到 了 muduo 将 来 的 计划 : 1.0 版 完善 单元 测试 ， 
基本 覆盖 各 种 code path， 特 别 是 各 种 Sockets API 出 错 情况 的 测试 ， 以 及 
用 户 调用 与 IO 事件 的 交互 。2.0 和 版 启用 C++11， 特 别 是 rvalue reference 有 
助 于 提高 性 能 与 资源 管理 的 便利 性 。 以 上 计划 中 的 版 本 尚 无 明确 的 时 
间 表 。 


注释 


1 http://pubs.opengroup.org/onlinepubs/007908799/xsh/poll.html 

2 通常 原因 是 端口 被 占用 。 这 时 让 程序 异常 退出 更 好 ， 因 为 能 触发 监控 系统 报警 ， 而 不 
是 假装 正常 运行 。 

3 http://static.usenix.org/event/usenix04/tech/general/brecht.html 

4 ”在 一 个 不 繁忙 (没有 出 现 消息 堆积 ) 的 系统 上 ， 程 序 一 般 等 待 在 pol(2) 上 ， 一 有 数据 
到 达 就 会 立刻 唤醒 应 用 程序 来 读 取 ， 那 么 每 次 read0 的 数据 不 会 超过 几 KiB (一 两 个 以 太 网 
frame) ， 这 里 64KiB 缓 冲 足 够 容纳 千 兆 网 在 500hs 内 全 速 收 到 的 数据 ， 在 一 定 意 义 下 可 视 为 延 
迟 带 宽 积 (bandwidth-delay product) 。 

5 ” 见 此 处 脚注 的 例子 。 

6 http://enwikipedia.org/Wwiki/Nagle's algorithm 

7 ”如 果 没 有 应 用 层 心 跳 ， 而 对 方 机 器 突然 断 电 ， 那 么 本 机 不 会 收 到 TCP 的 FIN 分 节 。 在 
没有 发 送 消 息 的 情况 下 ， 这 个 “连接 ”可 能 一 直 保 持 下 去 。 

8 sysctl 中 的 net.ipv4.ip_local_port_range， 以 及 /proc/sys/net/ipv4/ip_local_port range。 

9 http://bitsup.blogspot.com/2010/12/accelerated-connection-retry-for-http.html 

10 http://www.oschina.net/question/28 61182 


第 3 部 分 
工程 实践 经 验 谈 


第 9 章 “分布 式 系统 工程 实践 


本 章 谈 的 分 布 式 系统 是 指 运行 在 公司 防火 墙 以 内 的 信息 基础 设施 
(infrastructure) ， 用 于 对 外 〈 客 户 ) 提供 联机 信息 服务 ， 不 是 针对 公司 
员工 的 办 公 自 动 化 系统 。 服 务 器 的 硬件 平台 是 多 核 Intel x86-64 处 理 器 、 几 
十 GB 内 存 、 千 兆 网 互联 、 常 规 存 储 、 运 行 Linux 操 作 系统 。 系 统 的 规模 大 
约 在 几 十 台 到 几 百 台 ， 可 以 位 于 一 个 机 房 ， 也 可 以 位 于 全 球 的 多 个 数据 中 
心 。 只 有 两 台 机 器 的 双 机 容错 ( 热 备 ) 系统 不 是 本 章 的 讨论 范围 。 服 务 程 
序 是 普通 的 Linux 用 户 进程 ， 进 程 之 间 通 过 TCP/IP 通 信 。 特 别 是 ， 本 章 不 

考虑 分 布 式 存储 系统 ， 只 考虑 分 布 式 即时 计算 。 

本 章 不 谈 “ 企 业 级 开发 ”， 也 就 是 以 商用 数据 库 为 存储 ， 使 用 商用 消息 
中 间 件 (MQ) 或 交易 中 间 件 (Tuxedo) ， 故 障 转移 切换 (failover) 用 
VCS 等 商业 解决 方案 。 也 不 谈 “ 高 性 能 计算 (HPC) ”， 这 是 一 个 相对 成 熟 
的 领域 ， 通 常 以 MPI 为 编程 平台 。 并 行 算 法 对 延迟 有 茄 刻 要 求 ， 通 常 采 用 
InfiniBand 为 通信 方式 ， 不 是 常规 的 基于 以 太 网 的 TCP/IP 互 联 。 

先 谈 钱 ”每 台 机 器 的 购买 成 本 是 几 万 元 人 民 币 ， 每 年 的 使 用 成 本 以 一 
万 元 计 (电费 、 机 位 、 空 调 、 网 管 ， 不 含 对 外 带宽 ) 。 换 言 之 ， 本 章 讨论 
的 是 运行 在 几 十 台 或 几 百 台 PC 服 务 器 (每 台 价值 几 万 元 ) 上 的 分 布 式 系 
统 ， 不 是 运行 在 几 台 高 端 服务 器 (每 台 价 值 几 十 万 乃至 上 百 万 元 ) 上 的 系 
统 。 换 言 之 ， 是 Google、Facebook、Amazon 那 种 风格 的 分 布 式 系统 ， 不 是 
IBM、Oracle、HP 的 scale up 系统 。 

在 这 种 用 commodity 人 硬件 (服务 器 和 网 络 ) 搭建 的 分 布 式 系 统 中 ， 扩 
容 方式 主要 通过 增加 机 器 (scale out) 进行 。 理 想 情况 下 ， 系 统 架 构 应 该 
具备 线性 的 伸缩 性 ， 系 统 实现 应 该 让 “伸缩 *" 具 有 较 小 的 比例 和 系数。 不妨 假 
定 同 一 批 购买 的 相同 用 途 的 机 器 具有 相同 的 配置 ， 每 次 采购 总 是 购买 性 价 
比 最 高 的 机 型 。 服 务 器 的 服役 期 一 般 不 超过 5 年 ， 因 为 一 台 5 年 前 购买 的 旧 
机 器 在 消耗 相同 的 电能 的 情况 下 ， 提 供 的 处 理 能 力 只 有 新 机 器 的 一 半 甚 至 
更 少 ， 不 如 淘汰 它 再 买 新 机 器 更 划算 。 

网 络 方面 ， 可 以 认为 同一 数据 中 心 的 任何 两 台 机 器 之 间 有 千 兆 带宽 ， 
常用 的 做 法 是 采用 Clos/Fat-tree 网 络 拓扑 :。TCP/IP 协 议 原本 是 为 广域网 设 


计 的 ， 但 数据 中 心里 的 网 络 特性 与 传统 广域网 不 同 :， 会 出 现 TCP Incast 症 
状 :。 

也 就 是 说 ， 本 章 讨 论 在 均 质 (homogeneous) 的 硬件 和 网 络 情况 下 来 
设计 系统 。 

具体 考虑 以 下 有 代表 性 的 两 种 情况 :， 假 设 每 台 机 器 每 年 的 固定 支出 
是 1 万 元 ， 再 加 上 购买 成 本 : 


一 台 低 端的 价值 2 万 元 的 服务 器 ， 使 用 寿命 4 年 ， 平 均 每 年 支出 1.5 万 


一 台中 端的 价值 5 万 元 的 服务 器 ， 预 期 服役 3 年 ， 平 均 每 年 支出 2.7 万 


为 了 便于 计算 ， 假 定 一 台 服 务 器 一 年 的 使 用 成 本 为 3 万 元 ， 来 做 一 个 
非常 粗略 的 估算 : 


一 个 普通 程序 员 ， 公 司 每 月 支出 2 万 元 :， 一 年 24 万 ， 相 当 于 8 人 台 服 务 


一 个 高 级 程序 员 ， 公 司 每 月 支出 3 万 元 ， 一 年 36 万 ， 相 当 于 12 台 服务 


一 个 高 级 程序 员 花 3 个 月 时 间 ， 把 系统 性 能 提高 了 20%， 公 司 的 成 本 
是 9 万 元 ， 大 约 相 当 于 3 人 台中 端 服务 器 一 年 的 使 用 费 。 如 果 原 来 有 5 人 台 服 务 
器 ， 性 能 提高 20% 就 意味 着 能 节约 1 台 服 务 器 ， 这 不 见得 划算 。 如 果 有 50 
台 服 务 器 ， 节 约 了 10 台 ， 有 可 能 划 得 来 。 如 果 有 500 台 服务 器 ， 节 约 了 100 
台 ， 肯 定 划 得 来 。 可 见 在 需要 提高 系统 处 理 能 力 的 时 候 ， 优 化 代码 不 见得 
是 首要 的 ， 有 时 候 买 新 机 器 更 划算 。 


硬件 与 操作 系统 ”这 种 几 万 元 级 别 的 x86 服 务 器 的 一 般配 置 是 : 
双 路 多 核 CPU， 一 共 8~16 核 (不 含 超 线 程 ) 。 


: 几 十 GB ECC 内 存 。 
. 几 块 硬盘 :， 容 量 几 百 GB 至 几 TB。 


:多 余 电 源 。 
: 千 兆 网 卡 (GbE) 或 万 焰 网 卡 (10GbE) 。 


这 种 级 别 的 硬件 的 可 靠 性 见 89.2， 但 是 可 以 想见 ， 不 能 指望 单机 具有 
坚不可摧 的 可 靠 性 。 分 布 式 系统 的 可 靠 性 不 能 依赖 “硬件 不 会 停机 ”这 一 假 
设 。 

这 种 服务 器 运行 的 通常 是 免费 的 Linux 发 行 版 。 为 什么 不 用 Windows 或 
其 他 商业 系统 ? 假设 有 200 万 元 服务 器 硬件 投资 ， 可 以 买 100 台 2 万 元 的 服 
务 器 。 如 果 用 Windows Server 标 准 版 ， 每 台 机 器 增加 3000 元 成 本 :， 只 能 买 
87 台 服务 器 。Linux 方 案 的 硬件 raw 处 理 能 力 比 其 高 15%. 现 在 我 们 面临 的 不 
是 Windows 与 Linux 谁 快 的 问题 ， 而 是 Windows 能 否 比 Linux 快 15% 以 上 ， 让 
入 资 回报 合理 。 

在 价值 几 万 元 这 个 级 别 的 服务 器 上 ， 我 认为 Windows 上 EbLinux 快 是 不 成 
立 的。 本 书 讨论 的 分 布 式 系统 对 操作 系统 的 功能 需求 是 : 


-管理 十 几 个 核 上 的 任务 调度 。 
-管理 几 十 GB 物理 内 存 的 分 配 释 放 。 
:驱动 一 两 个 千 兆 或 万 兆 网 卡 。 
-驱动 十 来 块 普通 服务 器 级 的 硬盘 。 


pp 


把 这 几 样 普通 硬件 管 得 更 好 。 或 许 在 高 端 128 核 1TB 内 存 的 安 腾 服务 器 上 
Windows 表 现 更 佳 ， 但 这 就 不 是 本 书 讨论 的 范围 了 。 既 然 操作 系统 选 定 为 
Linux， 那 自然 不 必 考 虑 跨 平台 的 问题 ， 程 序 开 发 工作 因此 也 简化 了 许 
>。 

做 分 布 式 系统 一 个 有 意思 的 现象 : 公司 越 大 ， 技 术 能 力 越 强 ， 用 的 机 
器 越 便宜 。 一 般 的 公司 会 购买 品牌 服务 器 ， 配 备 匈 余 的 电源 和 网 卡 ， 硬 盘 
通常 是 配置 为 RAID 5/6/10 等 阵列 ， 商 用 SAN 存 储 也 不 少见 。 技 术 领 先 的 互 
联网 公司 为 了 压缩 成 本 ， 往 往 采 用 单 电源 、 单 网 卡 ， 存 储 也 用 一 两 块 普通 
SATA 硬 盘 (并 且 不 用 RAID) ， 但 无 论 如 何 ， 使 用 的 还 是 服务 器 级 的 多 路 
CPU 和 和 ECC 内存。 有 的 公司 甚至 用 Intel Atom 或 ARM 来 替换 Xeon 服 务 


Linux 内 核 可 以 很 好 地 完成 以 上 这 些 任务 ， 我 不 认为 其 他 操作 系统 能 


器 ， 以 进一步 降低 能 耗 ， 但 是 由 于 可 靠 性 较 低 (内 存 无 校 验 ) ， 这 些 低 端 
“服务 器 ”通常 用 于 静态 cache 之 类 的 场合 。 


9.1 我 们 在 技术 浪潮 中 的 位 置 


单机 服务 端 编程 问题 已 经 基本 解决 ”编写 高 吞吐 、 高 并 发 、 高 性 能 的 
服务 端 程 序 的 技术 已 经 成 熟 。 无 论 是 程序 设计 还 是 性 能 调 优 ， 都 有 成 熟 的 
办 法 。 在 分 布 式 系统 中 ， 单 机 表现 出 来 就 是 一 个 网 口 《89.7.3) ， 能 收发 
消息 ， 至 于 它 内 部 用 什么 语言 什么 编程 模型 都 是 次 要 的 。 在 满足 性 能 要 求 


性 能 ， 而 在 于 解放 程序 员 的 生产 力 ， 例 如 牺牲 少许 性 能 ， 用 更 易于 开发 的 
语言 。 

在 编程 模型 方面 ， 分 布 式 对 象 已 被 淘汰 准确 地 说 是 远程 对 象 :， 对 
象 位 于 另 一 个 进程 (可 能 运行 在 男 一 台 机 器 上 ) ， 和 程序 就 像 操 作 本 地 对 象 
一 样 通过 成 员 函 数 调用 来 使 用 远程 服务 。 这 种 模型 的 本 质 难点 在 于 容错 语 
义 。 假 设 对 象 所 在 的 机 器 坏 了 怎么 办 ? 已 经 发 起 但 尚未 返回 的 调用 到 底 有 
没有 成 功 ? 调用 远程 对 象 的 method 应 该 是 阻塞 还 是 抛 异常 呢 ? 假设 持 有 对 
象 引 用 的 机 器 骨 溃 怎么 办 ? 对 象 有 机 会 被 回收 吗 ? 你 理解 并 信得过 它 内 置 
的 容错 与 对 象 迁 移 机 制 吗 ? 

20 世 纪 80 年 代 提 出 这 种 编程 模型 的 前 提 是 服务 器 的 可 靠 性 极 高 ， 有 相 
当 强 的 容错 能 力 ， 几 乎 不 存在 失效 的 可 能 。 这 一 前 提 在 目前 的 分 布 式 系统 
开发 中 是 不 成 立 的 ， 这 种 技术 适合 所 谓 的 企业 级 开发 ， 不 适合 面向 业务 的 
分 布 式 系 统 。 这 里 推荐 一 篇 Google 的 好 文 《Introduction to Distributed 
System Design》z。 其 中 的 点 睛 之 笔 是 : 分 布 式 系统 设计 ， 是 design for 
failure。 设 计 分 布 式 系统 不 能 基于 错误 的 假设 3。 

大 规模 分 布 式 系统 处 于 技术 浪潮 的 前 期 ”大 家 都 在 摸索 中 前 进 ， 尚 未 
形成 一 套 完整 的 方法 论 。 某 些 领域 相对 成 熟 一 些 (分 布 式 非 结 构 化 存储 、 
离线 数据 处 理 等 ) ， 有 一 些 开源 的 组 件 。 但 更 多 更 本 质 的 问题 (正确 性 、 
可 靠 性 、 可 用 性 、 容 错 性 、 一 致 性 ) 尚 没有 一 套 行 之 有 效 的 方法 论 来 指导 
实践 ， 有 的 只 是 一 些 相 对 零散 的 经 验 *。 有 人 开玩笑 说 :“ 我 不 知道 哪 种 方 


法 一 定 能 行 ， 但 是 知道 哪些 方法 是 行 不 通 的 。” 这 或 许 正 是 我 们 这 一 阶段 
的 真实 写照 ， 分 布 式 系统 开发 还 处 于 “ 摸 着 石头 过 河 ” 阶 段 。 

市 面 上 分 布 式 系统 方面 的 书籍 ， 大 多 谈 的 是 高 性 能 科学 计算 、 并 行 算 
法 ， 或 者 某 些 分 布 式 算法 的 学 术 问 题 s， 这 些 书 对 面向 业务 的 分 布 式 系统 
的 指导 意义 有 限 。 从 另 一 个 方面 讲 ， 面 试 一 个 “分 布 式 系统 的 职位 ”都 没有 
公认 的 好 的 面试 题 *， 往 往 只 能 从 项 目 经 历来 考察 应 聘 者 的 水 平 。 

我 们 怎么 办 ? 勿 在 浮 沙 筑 高 台 ， 只 用 成 熟 的 基础 设施 。 目 前 看 来 ， 
Linux、 多 线程 编程 、TCP/IP 网 络 编程 2 是 成 熟 的 ， 我 认为 没有 哪个 “C++ 分 
布 式 中 间 件 ”是 成 熟 的 *&。2000 年 ，Linux 和 多 线程 编程 都 不 成 熟 ，2004 年 
Linux 2.6 内 核 支持 epoll 和 NTPL，Linux 服 务 端 多 线程 编程 基本 成 熟 。1990 
年 ，TCP/IP 网 络 编程 不 成 熟 ，W. Richard Stevens 的 传世 经 典 《TCP/IP 详 
解 》 和 《UNIX 网 络 编程 〈 第 2 版 ) 》 分 别 在 1993 和 1998 年 出 版 ， 网 络 编程 
基本 成 熟 。 现 在 ， 如 果 要 学 习 Linux 性 能 调 优 、 多 线程 编程 、 网 络 编程 、 
TCP/P 协 议 等 等 知识 ， 都 能 找到 非常 好 的 书籍 和 网 上 资源 , “能 够 靠 读 
书 、 看 文章 、 读 代码 、 做 练习 学 会 的 东西 没什么 门槛 ”#。 

这 也 是 本 书 主 讲 Linux 多 线程 TCP 网 络 编程 的 重要 原因 。 但 是 这 距离 设 
计 分 布 式 系统 还 有 巨大 的 鸿沟 ， 本 章 的 一 些 个 人 经 验 或 许 能 让 读者 稍微 少 
走 一 些 弯路 。 


9.1.1 “分 布 式 系统 的 本 质 困难 


Jim Waldo 等 人 写 的 《A Note on Distributed Computing》 :一针见血 地 
虽 出 分 布 式 系统 的 本 质 困 难 在 于 partial failure。 

拿 我 们 熟悉 的 单机 和 分 布 式 做 个 对 比 ， 初 看 起 来 ， 分 布 式 系统 很 像 是 
放大 了 的 单机 。 一 台 机 器 通过 总 线 把 CPU、 内 存 、 扩 展 卡 《网 卡 和 磁盘 控 
制 器 ) 连 到 一 起 4， 一 个 分 布 式 系统 通过 网 络 把 服务 进程 连 到 一 起 ， 网 络 
就 是 总 线 。 这 种 看 法 对 吗 ? 单机 和 分 布 式 的 区 别 究竟 在 哪里 ? 能 不 能 按照 
编写 单机 程序 的 思路 来 设计 分 布 式 系统 ? 

分 布 式 系统 不 是 放大 了 的 单机 系统 ， 根 本 原因 在 于 单机 没有 部 分 故障 

(partial failure) 一 说 。 对 于 单机 ， 我 们 能 轻易 判断 某 个 进程 、 某 个 硬件 
是 否 还 在 正常 工作 。 而 在 分 布 式 系统 中 ， 这 是 无 解 的 ， 我 们 无 法 及 时 得 知 


另外 一 台 机 器 的 死活 ， 也 无 法 把 机 器 衣 溃 与 网 络 故 障 区 分 开 来 >?。 这 正 是 
分 布 式 系统 与 单机 的 最 大 区 别 。 
例如 一 次 RPC 调 用 超时 ， 调 用 方 无 法 区 分 


是 网 络 故障 还 是 对 方 机 器 朋 溃 ? 
-软件 还 是 硬件 错误 ? 

:是 去 的 路 上 出 错 还 是 回来 的 路 上 出 错 ? 
对方 有 疫 有 收 到 请 求 ， 能 不 能 重 试 ? 


在 本 机 调用 成 员 函 数 根 本 不 会 出 现 这 种 情况 3。 这 不 是 RPC 的 过 错 ， 而 是 
分 布 式 系统 固有 的 特点 ， 此 处 把 RPC 换 成 网 络 消息 的 请 求 响应 也 是 一 样 
的 。 简 单 地 说 ， 单 机 的 编程 经 验 不 能 直接 套用 在 分 布 式 系统 上 ， 分 布 式 系 
统 需 要 用 单独 的 理论 来 分 析 *。 

单机 (集中 式 ) 与 分 布 式 的 根本 区 别 在 于 进程 的 地 址 空间 (address 
space) 是 一 个 还 是 多 个 ， 对 于 分 布 式 系 统 来 说 ， 如 果 把 进程 比喻 成 “人 ” 
(§3.1) ， 那 么 这 些 “ 人 ?不 是 在 一 个 屋子 里 交谈 ， 而 是 通过 电话 会 议 区 
谈 。 或 者 类 比 成 一 群 言 人 在 屋子 里 交谈 。 重 要 的 区 别 在 于 ， 通 过 电话 会 议 
交谈 的 时 候 只 能 听 到 别人 的 发 言 ， 如 果 有 人 离 场 ， 其 他 人 不 会 立刻 得 知 ， 
通常 只 能 通过 “一 段 时 间 没 有 发 言 ? 或 者 “ 叫 他 的 名 字 没 有 回答 ”来 间接 判断 
某 人 已 经 离 场 。 但 是 一 个 人 被 其 他 事情 吸引 (短暂 过 载 ) 或 开小差 (网 络 
暂时 故障 ) 也 会 表现 为 一段 时 间 没 有 发 言 " 或 者 “ 叫 他 的 名 字 没 有 回答 ”， 
其 他 人 无 法 区 分 这 两 种 情况 。 换 言 之 ， 进 程 间 通 过 收发 消息 来 交换 信息 ， 
一 个 进程 看 不 到 别 的 进程 的 数据 ， 也 不 能 立刻 判断 别 的 进程 的 死活 s。 当 
然 ， 这 个 比喻 本 身 也 有 问题 ， 它 假设 了 同时 性 和 事件 顺序 的 确定 性 。 一 个 
人 说 的 话 会 立刻 被 其 他 人 听 到 ， 甲 乙 两 个 人 先后 说 话 ， 那 么 其 他 人 听 到 的 
顺序 都 是 先 甲 后 乙 。 这 在 分 布 式 系统 中 是 不 成 立 的 ， 见 此 处 的 例子 。 

分 布 式 系统 设计 以 进程 为 基本 单位 ， 先 确定 有 哪些 功能 ， 需 要 做 几 个 
程序 ， 每 个 程序 的 职责 和 它 掌 握 的 数据 。 然 后 安排 这 些 程序 在 多 台 机 器 上 
的 分 布 ， 规 划 每 个 程序 起 几 个 进程 。 进 程 之 间 的 传输 协议 很 容易 确定 ， 使 
用 TCP 长 连接 即 可 〈83.4) 。 比 较 费 脑筋 的 是 进程 之 间 的 通信 协议 ， 即 发 


送 哪些 消息 ， 每 条 消息 包含 哪些 内 容 。 随 着 系统 的 演化 ， 消 息 的 内 容 也 会 
变化 ， 因 此 要 提前 做 好 准备 (89.6) 。 


9.1.2 分布 式 系统 是 个 险恶 的 问题 


险恶 的 问题 (wicked problem) * 的 意思 是 : 你 必须 首先 把 这 个 问题 
“解决 > 一遍， 以 便 能 够 明确 地 定义 它 ， 然 后 再 解决 一 遍 。 在 实现 一 个 系统 
之 前 ， 很 可 能 无 法 预料 哪个 技术 方案 行 得 通 。 这 里 举 两 个 虚构 的 例子 说 明 
其 险恶 。 

假设 有 一 个 缩 略 图 (Thumbnailer) 服务 ， 它 的 功能 是 将 用 户 提 供 的 数 
码 照片 按 比例 缩小 为 固定 尺寸 ， 这 是 一 个 典型 的 无 状态 服务 。 它 的 实现 很 
简单 ， 不 过 是 给 ImageMagick 的 convert(1) 命 令 提供 一 层 网 络 封装 。 计 算 缩 
略图 是 一 项 相当 耗 时 的 任务 x， 平均 每 张 图 片 用 时 0.5s， 一 台 8 核 服务 器 每 
秒 只 能 处 理 16 张 图 片 。 相 比 之 下 ， 一 人 台 8 核 Web 服 务 器 可 支撑 每 秒 8000 次 
HTTP 请 求 响应 ， 平 均 每 个 HTTP 请 求 只 占用 1ms CPU 时 间 。 为 了 避免 压缩 
照片 影响 Web 服 务 器 的 性 能 ， 我 们 把 生成 缩 略 图 功能 移 到 单独 的 服务 器 
中 。 系 统 中 有 多 台 Web 服 务 器 ， 连 接 到 多 台 Thumbnailer 服 务 器 。 现 在 的 问 
题 是， 我 们 该 如 何 做 负载 均衡 ? 

第 一 个 想法 是 每 台 Web 服 务 器 只 和 一 台 Thumbnailer 打 交道 ， 通 过 Web 
本 身 的 负载 均衡 来 让 图 片 讨 缩 请 求 均 匀 地 分 散 到 多 个 Thumbnailer 上 。 如 图 
9-1 所 示 的 两 种 做 法 。 
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图 9- 
这 种 做 法 足够 简单 ， 但 是 Web 负 载 从 短期 来 看 是 非 均匀 的 ， 具 有 突 发 
性 (burst) 。 假 如 某 个 用 户 通 过 某 一 个 web 服务 器 上 传 了 一 堆 照 片 ， 那 么 


在 现在 这 个 设计 中 ， 会 有 一 个 Thumbnailer 满 负荷 ， 而 其 他 Thumbnailer 都 闲 
着 ， 这 不 利于 快速 响应 。 

自然 地 ， 我 们 让 每 个 Web 服 务 器 都 可 以 和 每 个 Thumbnailer 服 务 器 打 交 
道 ， 以 期 充分 均匀 地 分 散 某 一 Web 服 务 器 的 突 发 负载 ， 形 成 了 如 图 9-2 所 示 
的 连接 关系 。 那 么 负载 均衡 又 该 怎么 做 呢 ? 


Web Server A Web Server C 


er B 


Web Serv 


Se > 


RE SR 


> 
JJ Nie 
we 
Thumbnailer 1 


有 几 个 实践 证 明 不 靠 谱 的 做 法 : 


Thumbnai 


1. 每 个 Web 服 务 器 轮流 向 Thumbnailer{1,2,3,.…,N} 发 送 请 求 ， 结 果 发 
现 Thumbnailer 的 负载 像 走马 灯 一 样 移动 ， 因 为 Web 服 务 器 先 集中 火力 攻击 
第 1 台 Thumbnailer， 然 后 再 集中 攻击 第 2 台 Thumbnailer， 如 此 等 等 。 

2. 既然 轮流 发 送 请 求 不 合适 ， 就 采用 随机 的 方式 选择 Thumbnailer， 
随机 数 的 种 子 用 时 间 初 始 化 。 但 是 web 服 务 器 几乎 同时 启动 ， 它 们 用 于 初 
始 化 的 种 子 相 同 ， 产 生 的 伪 随 机 序列 也 相同 ， 造 成 与 第 1 种 做 法 相同 的 “ 潮 
涌现 象 。 


前 面 这 两 条 都 是 开 环 控 制 ， 下 面 考虑 闭环 控制 ， 让 Web 服 务 器 知道 
Thumbnailer 的 实际 负载 ， 并 从 中 选 出 负载 最 轻 的 来 发 送 请 求 。 


3. 让 Thumbnailer 向 Web 服 务 器 定期 汇报 当前 负载 情况 ， 这 种 做 法 的 
缺点 是 消息 数目 与 服务 器 数目 呈 平 方 关系 ， 有 M 人 台 Web 服 务 器 ，N 台 
Thumbnailer 服 务 器 ， 每 个 周期 要 发 送 MxN 条 消息 ， 伸 缩 性 不 佳 。 而 且 * 负 
载 ? 强 弱 本 身 也 不 易 定 义 。 

4. 通过 某 个 集中 的 负载 均衡 器 (load balancer) 来 收集 并 分 发 负载 情 
况 ， 好 处 是 把 消息 数目 降 为 M +N， 但 是 造成 了 单 点 故障 (Single Point of 


Failure，SPoF) 。 


这 几 个 想法 初 看 上 去 都 挺 合 理 ， 但 是 仔细 一 分 析 却 有 各 自 的 问题 。 这 
里 提出 一 种 完全 基于 客户 端 视角 的 负载 均衡 策略 。 

第 3 和 第 4 两 种 方案 是 基于 IThumbnailer 服 务 的 当前 负载 的 反馈 控制 ， 每 
次 新 请 求 都 发 向 当前 负载 最 轻 的 服务 端 。 那 么 我 们 遇 到 的 一 个 更 本 质问 题 
是 ， 如 何 定义 服务 端的 负载 ?或 者 说 Thumbnailer 如 何 算出 自己 当前 负载 的 
单 值 ， 以 供 客户 端 排序 ”其 当前 负载 值 与 本 机 CPU 使 用 率 、 内 存 占用 率 、 
硬盘 剩余 空间 比例 、 网 络 带 宽 使 用 率 是 什么 关系 ? 各 部 分 权重 大 小 如 何 分 
配 ? 有 没有 考虑 同时 运行 在 同一 台 机 器 上 的 其 他 服务 进程 也 会 消耗 资源 ? 

我 们 注意 到 ， 响 应 客户 端 (这 里 是 Web 服 务 器 ) 请 求 的 快慢 直接 反应 
了 服务 端 (Thumbnailer) 的 负载 。 客 户 端 根本 无 须 关 心服 务 端 负载 的 具体 
情况 (CPU 负载 、 网 络 带 宽 负 载 、 内 存 使 用 率 等 ; ， 只 需要 看 它 响 应 自己 
请 求 的 速度 就 可 以 判断 应 该 把 下 一 个 请 求 发 给 哪个 服务 端 。 具 体 地 说 是 选 
择 活 动 请 求 (已 经 发 出 请 求 而 尚未 收 到 响应 ) 数目 最 少 的 那个 服务 端 。 这 
样 一 来 客户 端 无 须 定期 查询 各 个 服务 端的 负载 ， 只 要 根据 自己 以 往 的 调用 
情况 就 能 做 出 判断 。 这 个 做 法 大 大 简化 了 系统 的 设计 。 

客户 端 把 服务 端 看 成 一 个 循环 队列 ， 在 选择 服务 端 时 ， 从 上 次 调用 的 
服务 端的 下 一 个 位 置 开始 遍历 ， 找 出 负载 最 轻 的 服务 端 。 每 次 遍历 的 起 点 
选 在 上 次 遍历 终点 的 下 一 位 置 ， 这 是 为 了 在 服务 端 负载 相等 的 情况 下 轮流 
使 用 各 个 服务 端 ， 使 各 服务 端 负载 大 致 相当 。 算 法 如 下 ， 其 中 last 表 示 上 
次 选取 的 服务 端 编号 。 


int selectLeastLoad(const vector<Endpoint>& endpoints，intx* last) 


{ 
int N = endpoints.size(); 
int start = (xlast + 1) % N; // 每 次 从 前 次 调用 的 下 一 位 置 找 起 
int min_load_idx = start， // 从 start 开始 找 负载 最 轻 的 服务 端 
int min_load = endpoints[start].active_reqs(); // 活动 请 求 数目 


for (int i = 0; i < N; ++i) { 
int idx = (start + i) % N; 
int load = endpoints[idx].active_reqs(); // 负载 即 活 动 请 求 数目 


if (load < min_load) { // 找到 更 小 的 负载 
min_load = load; 
min_load_idx = idx; 
if (min_load == 0)  // 已 经 找到 最 小 负载 ， 无 须 再 找 
break ; 


} 
a 


xlast = min_load_idx; 
return min_load_idx; 


举例 来 说 ， 有 4 人 台 Thumbnailer 服 务 器 。 在 某 一 时 刻 ， 客 户 端 Web Server 
人 A 向 这 4 台 服 务 器 已 发 起 而 尚未 结束 的 请 求 〈( 即 前 述 “ 活 动 请 求 ") 的 数目 分 
别 为 3、2、3、4，Thumbnailer 2 负载 最 轻 ， 那 么 这 时 新 的 图 片 压缩 任务 将 
发 给 Thumbnailer 2。 在 下 一 次 请 求 到 来 时 ， 活 动 请 求 数 目 分 别 为 3、3、 
3、3， 客 户 端 从 Thumbnailer 2 的 下 一 位 置 ( 即 Thumbnailer 3) 开始 查找 可 
用 的 服务 端 ， 没 有 哪个 服务 端的 负载 比 Thumbnailer 3 更 轻 ， 因 此 新 的 图 片 
压缩 任务 将 发 给 Thumbnailer 3。 

在 最 初 的 两 种 反馈 控制 设计 中 (3 和 4) ， 是 站 在 服务 器 的 角度 评估 服 
务 器 的 当前 负载 。 某 个 服务 程序 的 “当前 负载 ”是 一 个 全 局 数据 ， 由 服务 端 
产生 ， 每 个 客户 端 都 希望 这 个 全 局 数据 随时 保持 更 新 。 而 在 新 的 设计 中 ， 
客户 端 根本 不 用 关心 这 个 全 局 数据 ， 只 要 从 自己 的 角度 看 ， 哪 个 服务 器 负 
载 轻 、 等 待 响应 的 活动 请 求 少 ， 就 把 下 一 个 请 求 发 给 哪个 服务 器 。 各 个 客 
户 端 看 到 的 服务 器 负载 情况 可 能 不 尽 相 同 ， 不 过 从 统计 上 看 ， 负 载 仍然 是 


均匀 分 配 的 ， 实 验 结果 很 好 地 支持 了 这 一 点 。 新 的 设计 规避 了 分 布 式 系统 
中 保持 全 局 数据 一 致 性 这 个 老大 难 问题 。 

在 多 个 客户 端 (Web Server) 的 情况 下 ， 为 了 避免 潮涌 ， 每 个 Web 
Server 用 于 初始 化 last 值 的 随机 数 种 子 应 该 上 有 足够 的 随机 性 ， 例 如 可 以 包括 
IP 地 址 、MAC 地 址 、 当 前 时 间 、PID 号 等 等 。 

这 个 简单 的 负载 均衡 策略 在 实际 应 用 中 获得 了 良好 的 效果 。 

第 二 个 例子 ， 分 布 式 系统 的 险恶 之 处 还 在 于 时 间 与 事件 顺序 违反 直觉 

(具有 狭义 相对 论 效应 ， 每 个 本 地 观察 者 有 自己 的 时 钟 和 事件 顺序 2*) ， 
因为 消息 传递 的 延 时 是 不 固定 的 。 

比方 说 ， 顾 客 向 商店 订购 了 一 件 商品 (0:order) ， 商 店 先是 确认 订单 
已 收 到 (a:ack) ， 再 通知 仓库 发 货 (b:ship) ， 随 后 立刻 通知 客户 货物 已 
发 出 (c:confirm) ， 最 后 客户 收 到 货物 (d:deliver) 。 消 息 流程 如 图 9-3 所 


个 \o 
Warehouse 


0:order ， a:ack 


: 了 
Customer 


图 9-3 


按照 常规 的 想法 ，a、c、d 这 3 条 消息 发 送 的 顺序 是 明确 的 ， 那 么 
Customer 收 到 消息 的 顺序 也 应 该 是 a、c、de。 但 是 在 分 布 式 系统 中 ，a、c、 
d 这 3 条 消息 到 达 Customer 的 顺序 有 6 种 可 能 。 即 便 Shop 与 Customer 采 用 一 个 
TCP 连 接 通信 ， 保 证 a 先 于 c 到 达 ， 那 么 Customer 收 到 这 3 条 消息 仍然 有 3 种 
可 能 的 顺序 : 


1. a,c,d 
2. a, d, c 
3. d,a,c 


由 于 a、c 与 d 由 两 个 不 同 的 TCP 连 接 发 送 ， 它 们 之 间 没 有 确定 的 先后 关 
系 。 

同样 的 道理 ， 如 果 客 户 端 往 Master 发 出 一 个 请 求 ，Master 指 定 某 个 
Work 来 完成 任务 ，Worker 把 计算 结果 发 给 客户 端 ， 消 息 流程 如 图 9-4 所 
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图 9-4 


那么 “4:result* 完 全 有 可 能 先 于 “2:response” 到 达 客 户 端 ， 因 为 TCP 重 传 的 首 
次 间隔 是 200ms， 如 果 发 送 “2:response” 的 时 候 发 生 了 重 传 ， 那 么 它 会 比 没 
有 重 传 的 “4:result” 更 晚 到 达 客 户 端 。 网 络 上 消息 传递 的 延迟 没有 上 界 ， 完 
全 有 可 能 出 现 后 发 先 至 的 情况 。 客 户 端 程序 必须 预见 到 并 能 正确 应 对 这 种 
乱 序 的 情况 。 

另外 ，Client 也 没有 办 法 判断 “4:result* 和 “2:response” 的 发 送 哪 个 在 
前 、 哪 个 在 后 ， 即 便 Master 和 Worker 都 在 消息 中 加 上 发 送 时 间 戳 
(timestamp) 。 这 是 因为 分 布 式 系统 中 每 台 机 器 有 自己 的 本 地 时 钟 ， 
Master 和 Worker 的 时 钟 之 间 肯 定 是 有 误差 的 ， 而 Client 并 不 知道 它们 的 时 间 
差 多 少 s 

在 局 域 网 内 ， 消 息 的 传输 延迟 不 能 通过 发 送 方 和 接收 方 时 间 戳 的 差 值 
算出 来 。 因 为 在 局 域 风 中， 虽然 NTP 对 时 的 精度 可 以 达到 1 毫秒 之 内 ， 但 
消息 的 延迟 本 身 也 在 1 毫秒 以 内 。 测 量 值 和 未 知 系统 误差 2 在 同一 量 级 ， 测 
量 结果 是 无 意义 的 。 必 要 的 时 候 我 们 可 以 先 测 量 两 台 机 器 之 间 的 时 间 差 ， 
用 来 修正 延迟 测量 的 结果 (87.9) 。 


9.2 分布 式 系 统 的 可 靠 性 浅说 


本 节 谈 谈 我 对 分 布 式 系统 可 靠 性 的 理解 。 要 谈 可 靠 性 ， 必 须要 谈 基 本 
指标 trer (平均 无 故障 运行 时 间 : ， 单 位 通常 是 小 时 ) 。twpr 与 可 靠 性 
的 关系 如 下 ， 其 中 (是 系统 运行 时 间 。 


t 
Reliability = exp( 一 - 
tMTBE 


按照 上 式 ， 当 t=twrer 时 ， 系 统 的 可 靠 度 为 36.8%. 也 就 是 说 当 系 统 连续 
运转 tyrpp 这 么 长 时 间 后 ， 发 生 故 障 的 概率 为 63.2%. 见 图 9-5 中 的 指数 曲 
线 。 
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图 9-5 的 横 坐 标 为 twrpr 的 倍数 ， 纵 坐标 为 可 靠 度 。 在 粗略 估算 的 时 
候 ， 可 以 用 直线 代替 曲线 ， 达 到 trpr 时 系统 发 生 故 障 的 概率 为 50% (图 
9-5 中 的 实 线 ) 或 100% (图 9-5 中 的 虚线 ) 。 如 果 要 粗略 估算 短期 可 靠 性 ， 
应 该 用 图 9-5 中 的 虚线 ， 它 是 指数 曲线 在 t=0 附 近 的 一 阶 近似 (斜率 相等 ， 
为 -1) 。 在 估算 可 靠 性 的 时 候 ， 一 两 倍 的 差距 无 伤 大 雅 ， 因 为 trpr 本 身 
只 是 平均 数 ， 而 设备 损坏 是 非 均匀 的 :。 

tMTeF 与 使 用 寿命 无 关 。 硬 盘 的 寿命 通常 是 3 一 5 年 ， 但 其 标 称 twrpr 是 
100 万 小 时 ， 即 114 年 。 这 两 个 数字 并 不 矛盾 ，twTrprf 为 100 万 小 时 ， 意 味 着 
如 果 有 1 万 块 硬盘 同时 运行 ， 那 么 平均 每 200 小 时 会 坏 掉 一 块 s。 如 果 按 


tMTPF 为 100 万 小 时 计算 ， 硬 盘 每 年 的 故障 率 不 到 1% ， 但 是 硬盘 实际 的 年 
故障 率 在 3% 人 8% ， 因 此 不 能 一 味 相信 广 家 给 出 的 数据 ss。 

一 个 系统 由 多 个 部 件 组 成 ， 系 统 的 整体 可 靠 性 取决 于 部 件 之 间 是 “并 
联 ” 还 是 “串联 ”"。 所 谓 两 个 部 件 “ 并 联 *"， 指 的 是 两 个 部 件 同 时 坏 掉 会 导致 系 
统 失 灵 ， 比 方 说 元 余 电 源 就 是 “并 联 ” 的 。 所 谓 两 个 部 件 * 串 联 ”， 指 的 是 只 
要 有 一 个 部 件 坏 掉 ， 系 统 就 失灵 了 ; 一般 的 入 门 级 服务 器 上 ， 主 板 、 
CPU、 内 存 都 是 “串联 ”的 。 

“并 联 ” 可 以 极 大 地 提高 可 靠 性 。 例 如 一 台 服 务 器 有 两 个 电源 ， 同 时 工 
作 ， 而 且 可 以 热 插 拔 。 如 果 单 个 电源 的 twrpr 是 10 万 小 时 ， 更 换 坏 电源 需 
要 24 小 时 。 假 设 有 100 台 单 电 源 的 机 器 ， 平 均 每 42 天 会 有 一 台 机 器 出 现 电 
源 故 障 >。 如 果 改 用 双 电 源 ， 在 出 现 坏 掉 一 个 电源 的 情况 后 ， 在 24 小 时 内 
更 换 它 ， 可 确保 不 停机 。 那 么 这 人 台 机 器 的 另 一 个 电源 在 这 24 小 时 内 坏 掉 的 
可 能 性 是 1 一 exp(-24/100000) 三 0.024% ， 因 此 双 电 源 的 可 靠 性 是 99.976%. 

再 来 计算 硬盘 存储 数据 的 可 靠 性 s。 为 了 便于 计算 ， 假设 硬盘 的 年 故 
障 率 是 3.65%， 更 换 坏 硬盘 并 重建 数据 需要 24 小 时 。 一 块 硬盘 在 24 小 时 内 
坏 掉 的 可 能 性 约 是 0.01% ( 即 10*) 。 如 果 我 们 按 GFS 的 思路 把 数据 存 3 
份 ， 在 一 块 硬盘 坏 掉 之 后 ， 立 刻 用 另外 两 份 拷 贝 开始 在 空余 的 硬盘 上 重建 
数据 。 那 么 在 接 下 来 的 24 小 时 里 ， 另 外 两 份 拷贝 同时 坏 掉 的 可 能 性 是 10* 
。 在 一 年 之 内 ， 某 一 块 数据 丢失 的 可 能 性 是 3.65x10" 。 换 言 之 ， 数 据 的 可 
靠 性 (durability) 是 9 个 9。 要 想 进一步 提高 可 靠 性 ， 可 行 的 方法 有 两 个 : 
一 是 提高 见 余 ， 比 如 每 块 数据 存 6 份 ; 二 是 降低 重建 数据 的 时 间 ， 比 如 把 
更 换 并 重建 硬盘 的 时 间 降 为 12 小 时 。 〈 通 过 千 兆 网 全 速 复 制 一 个 2TB 的 
SATA 硬 盘 的 全 部 数据 约 需 6 小 时 。 ) 

前 面 考虑 的 是 从 客户 的 角度 看 某 一 块 指定 的 数据 不 丢失 的 概率 ， 如 果 
从 存储 服务 端的 角度 考虑 系统 全 部 数据 都 不 丢失 的 概率 ， 情 况 就 大 不 一 样 
了 。 假 设 一 个 硬盘 每 天 坏 掉 的 概率 为 p， 一 共有 n 块 硬盘 ， 一 天 之 内 恰好 坏 
k 块 硬盘 的 概率 满足 二 项 分 布 : 
f(k;n,p) = CKp*(1 一 p)"”“*， 其 中 Ck = mest 是 二 项 式 系数 。 在 3 份 
数据 元 余 的 情况 下 ， 如 果 一 天 之 内 坏 掉 3 块 以 上 的 硬盘 ， 就 有 可 能 丢 数 
据 。 因 为 如 果 有 某 块 数据 的 3 份 元 余 正好 位 于 这 3 块 坏 掉 的 硬盘 ， 那 么 这 块 
数据 就 丢失 了 。 因 此 不 出 现 数据 丢失 的 概率 是 f(0; n，p) 十 f(1; n，D) 十 


f(2; n，p)。 把 p 二 10* ，n 三 100,1000,10000 分 别 带 入 公式 ， 可 知 当 n 王 100 
时 ， 数 据 的 可 靠 性 接近 100%; 当 n 二 1000 时 ， 数 据 可 靠 性 为 99.985%; 而 
当 n 二 10000 时 ， 数 据 的 可 靠 性 降 为 为 91.971%， 即 每 天 有 8.029% 的 概率 出 
现 3 块 以 上 硬盘 同时 损坏 的 情况 。 如 果 某 个 有 10000 个 硬盘 的 存储 系统 连续 
运行 一 个 月 ， 那 么 几乎 肯定 会 遇 到 某 天 坏 掉 3 块 硬盘 的 情况 出 现 ， 连 续 运 
行 一 年 ， 几 乎 肯定 会 遇 到 数据 丢失 的 情况 出 现 。 如 果 磁 盘 总 数 n 继 续 增 
大 ， 数 据 的 总 可 靠 性 迅速 降低 。 在 无 法 改变 硬盘 故障 率 p 的 情况 下 ， 如 果 
基于 GFS 思 路 不 变 ， 那 么 增加 数据 的 宛 余 份 数 和 降低 重建 数据 的 时 间 是 提 
高 可 靠 性 的 两 个 可 行 办 法 。 

这 看 似 矛 盾 的 结果 其 实 也 很 容易 理解 : 一 个 人 买 一 张 彩票 中 头 奖 的 概 
率 是 几 百 万 分 之 一 ， 一 期 彩票 有 几 百 万 人 购买 ， 那 么 几乎 每 期 都 能 开 出 头 

可 靠 性 与 可 用 性 (availability) ”是 两 码 事 ， 可 靠 性 指 的 是 数据 不 丢失 
的 概率 ， 可 用 性 指 的 是 数据 或 服务 能 被 随时 访问 到 的 概率 。 可 用 性 = 

:MTBF 其 中 twin 是 平均 修复 时 间 。 因 此 为 了 提高 可 用 性 ， 提 高 
tMTBF 十 tMTTR 


tMref 和 降低 twrrR 都 是 可 行 的 。 例 如 假设 某 服 务 的 twrpr 短 到 只 有 24 人 小 
时 ， 但 twrrR 做 到 10 秒 ， 可 用 性 还 是 高 达 99.988%. 

值得 一 提 的 是 ， 前 面 只 考虑 了 硬盘 整体 故障 ， 没 有 考虑 数据 读 写 错误 
24。 普通 SATA 硬 盘 的 误 码 率 (bit error rate) 约 是 10* ， 也 就 是 说 大 约 每 读 
12TB 的 数据 就 会 遇 到 有 数据 读 不 出 来 2。 磁 盘 带宽 按 100MB/s 算 ， 那 么 持 
续 全 速 读 33 小 时 就 会 出 现 这 种 错误 。 而 ECC 内 存 的 可 靠 度 远 高 于 硬盘 ， 大 
约 每 年 有 1.3% 的 机 器 会 遇 到 不 可 恢复 的 内 存 故 障 s。 因 此 在 没有 使 用 RAID 
的 廉价 服务 器 上 ， 应 该 关闭 swap 分 区 ， 避 免 因 磁盘 读 写 错 误 而 损害 非 存储 
业务 的 可 靠 性 。 

单机 易 坏 的 部 件 通常 都 有 廉价 的 郊 余 方案 〈 双 电源 、 热 插 拔 硬盘 、 双 
口 网 卡 ) ， 但 是 其 余 的 核心 部 件 (主板 s、CPU、 内 存 s) 没有 廉价 的 热 插 
拔 方案 ， 出 现 故 障 必须 停机 修复 。 如 此 看 来 ， 分 布 式 系 统 中 服务 器 硬件 的 
可 靠 性 并 不 如 想象 中 高 ss ， 如 果 服 务 器 的 tyrpE 是 10 万 小 时 ， 在 100 台 服务 
器 组 成 的 分 布 式 系统 中 ， 每 个 月 出 现 一 次 服务 器 硬件 故障 的 可 能 性 略 大 于 
50%. 


这 还 没有 考虑 需要 停机 维护 的 其 他 原因 ， 包 括 机 器 搬 动 、 空 调 故障 、 
供电 故障 、 网 络 交 换 机 或 路 由 器 故障 、 机 房 进 水 或 漏 雨 、 操 作 系统 或 其 他 
系统 软件 (固件 ) 的 安全 补丁 等 等 。 因 此 ， 在 设计 分 布 式 系统 的 时 候 ， 要 
把 这 些 硬 件 和 环境 的 不 可 靠 因素 考虑 进去 ， 避 免 制 定 出 不 切实 际 的 单机 软 
件 可 靠 性 指标 (7x24 是 overkill) 。 考 虑 了 硬件 不 可 靠 的 因素 ， 实 际 上 能 降 
低 软 件 的 编码 难度 。 

硬件 故障 固然 不 可 避免 ， 不 过 软件 故障 和 人 为 故障 往往 更 容易 制造 及 
烦 。 软 件 故障 的 很 大 一 部 分 是 资源 不 足 ， 例 如 内 存 耗 尽 、 硬 盘 写 满 、 网 络 
带宽 占 满 ， 以 及 文件 描述 符 或 i-node 用 完 等 。 应 对 这 种 故障 的 办 法 是 持续 
监控 并 报警 ， 必 要 时 自动 或 人 工 干预 。 有 了 这 样 的 监控 系统 ， 也 能 减轻 应 
用 程序 开发 的 负担 ， 比 如 日 志 库 就 不 必 在 意 磁 盘 是 否 写 满 ， 因 为 机 器 上 肯 
定 有 监测 磁盘 剩余 空间 的 程序 。 


9.2.1 ”分布 式 系统 的 软件 不 要 求 7x24 可 靠 


运行 在 一 台 机 器 (设备 ) 上 的 软件 的 可 靠 性 受 限 于 硬件 ， 如 果 硬 件 本 
身 的 可 靠 性 不 高 ， 那 么 软件 做 得 再 可 靠 也 没有 意义 。 自 己 开发 的 软件 的 可 
靠 性 只 需要 略 高 于 硬件 及 操作 系统 即 可 ， 即 “不 当 木 桶 的 短 板 ”"。 学 软件 
(计算 机 科学 系 ) 出 身 的 人 往往 认为 硬件 不 会 坏 ， 而 学 硬件 (电子 信息 
系 ) 出 身 的 人 一 般 都 认为 硬件 不 会 坏 才 怪 。 半 导体 器 件 是 非常 娇 弱 的 ， 宇 
宙 射 线 的 中 子 和 集成 电路 封装 材料 中 的 同位 素 衰 变 产 生 的 a- 粒 子 在 击 中 硅 
片 时 会 释放 能 量 ， 有 可 能 影响 储 能 器 件 的 “状态 ”， 造 成 bit 翻 转 4。 

前 面 分 析 过 ， 如 果 一 台 服 务 器 的 tyrpp 是 10 万 小 时 ， 连 续 运行 一 年 出 
现 故 障 的 概率 是 8.4%; 如 果 一 台 网 络 交 换 机 的 tyrpF 是 20 万 小 时 ， 它 连续 
运行 一 年 出 现 故 障 的 概率 是 4.3%. 在 编写 单机 服务 软件 或 网 络 交 换 机 固件 
的 时 候 ， 程 序 应 该 尽量 可 靠 (7x24) ， 要 能 连续 稳定 运行 一 年 才 不 会 影响 
系统 的 可 靠 性 。 

但 是 ， 在 一 个 100 台 服务 器 规模 的 分 布 式 系统 中 ， 每 个 月 出 现 一 次 硬 
件 故障 的 概率 是 51.3% ; 在 一 个 1000 台 服务 器 规模 的 分 布 式 系统 中 ， 每 周 
出 现 硬 件 故 障 的 概率 是 81.4%. 在 开发 运行 于 这 些 硬 件 上 的 分 布 式 服务 软件 
时 ， 要 求 单 个 程序 “连续 稳定 运行 一 年 ”是 做 无 用 功 。 如 果 一 年 之 内 因为 硬 


件 或 操作 失误 造成 10 次 停机 ， 软 件 故 障 造 成 两 次 停机 ， 消 除 这 两 次 软件 故 
障 并 不 能 有 效 地 提高 系统 的 可 靠 性 。 

要 求 分 布 式 中 的 单个 服务 进程 “7x24 不 停机 ”通常 是 错误 地 理解 了 需求 
与 约束 。 高 可 用 的 关键 不 在 于 做 到 不 停机 ; 恰恰 相反 ， 要 做 到 能 随时 重启 
任何 一 个 进程 或 服务 。 通 过 容错 策略 让 系统 保持 整体 可 用 ， 关 键 是 要 设计 
合理 的 协议 来 避免 对 单机 过 高 的 可 靠 性 要 求 。 只 要 重启 或 故障 转移 

(failover) 的 时 间 足 够 短 〈 秒 级 ) ， 则 可 用 性 仍然 相当 高 。 要 设法 从 架构 
上 搬 掉 这 块 “绊脚石 ”， 通 过 多 机 协作 达到 可 用 性 指标 。 在 不 可 靠 的 硬件 

， 只 有 通过 软件 手段 来 提高 系统 的 整体 可 用 度 。 比 方 说 89.1.2 举 的 
Thumbnailer 就 不 必 做 到 7x24， 通 过 合理 的 设计 协议 ， 任 何 一 个 
Thumbnailer 都 可 以 随时 重启 。 

如 果真 要 7x24 连 续 运行 ， 应 该 有 明确 的 tyrpr 指标 。 另 外 ，6.9x24 行 
不 行 ? 7x23.9 行 不 行 4? 对 于 非 性 命 似 关 的 系统 ， 在 星期 天 凌晨 3 点 短暂 不 
可 用 会 有 多 大 的 实际 影响 呢 ? 

既然 预料 到 硬件 会 出 现 故障 ， 就 能 避免 不 切实 际 的 软件 可 靠 性 指标 。 
对 于 分 布 式 系统 中 的 进程 来 说 ， 考 虑 到 平均 一 两 个 月 就 会 有 程序 版 本 更 
新 ， 那 么 进程 能 连续 运行 数 星期 就 可 算 达 标 了 ， 软 件 升 级 的 时 候 反 正 还 是 
要 重启 进程 的 >。 

以 上 理由 不 是 给 写 出 低 质 量 代码 找 开脱 的 借口 ， 而 是 说 在 编程 的 时 
候 ， 不必 纠结 于 想 尽 一 切 办 法 防止 程序 崩 演 。 这 样 可 以 简化 错误 处 理 ， 用 
最 自然 的 方式 编写 C++ 代码 ， 该 new 的 就 new， 该 用 STL 就 用 ， 不 要 视 动 态 
分 配 内 存 为 “洪水 猛兽 ”。 不 要 把 时 间 浪 费 在 解决 错误 的 问题 2， 应 集中 精 
力 应 付 更 本 质 的 业务 问题 。 

比方 说 ， 对 于 某 些 资源 耗 尽 的 错误 可 以 简化 处 理 ， 在 编写 64-bit 程 序 
时 也 可 以 不 必 在 意 内 存 碎 片 (理由 见 8A.1.8) 。 遇 到 某 些 发 生 概率 很 小 的 
严重 错误 事件 时 ， 可 以 直接 退出 进程 ， 举 例 来 说 


如果 初始 化 mutex 失 败 ， 直 接 退 出 进程 好 了 ， 反 正 程 序 也 无 法 正确 执 
行 下 去 。 

一 般 的 程序 3 不 必 在 意 内 存 分 配 失败 ， 遇 到 这 种 情况 直接 退出 即 可 。 
一 方面 是 在 程序 分 配 内 存 失 败 之 前 ， 资 源 监控 系统 应 该 已 经 报警 s， 实 施 


负载 迁移 ; 另 一 方面 ， 如 果真 遇 到 std::bad_alloc 异 常 ， 也 没有 特别 有 效 的 
办 法 来 应 对 =。 

-程序 也 不 必 考 虑 磁盘 写 满 s， 因 为 在 磁盘 写 满 之 前 ， 监 控 系 统 已 经 报 
警 s。 如 果 是 关键 业务 ， 必 然 已 经 有 人 采取 必要 的 措施 来 腾 出 磁盘 空间 。 


9.2.2 “能 随时 重启 进程 作为 程序 设计 目标 


既然 硬件 和 软件 条 件 都 不 需要 (不 允许 ) 程序 长 期 运行 ， 那 么 程序 在 
设计 的 时 候 必 须 想 清楚 重启 进程 的 方式 与 代价 。 进 程 重启 大 致 可 分 为 软 硬 
件 故 障 导 致 的 意外 重启 与 软 硬 件 升级 引起 的 有 计划 主动 重启 。 无 论 是 哪 种 
重启 ， 都 最 好 让 最 终 用 户 感觉 不 到 程序 在 重启 。 重 启 耗 时 应 尽量 短 ， 中 断 
服务 的 时 间 也 尽量 短 ， 或 者 最 好 能 做 到 根本 不 中 断 服务 。 重 启 进程 之 后 ， 
应 该 能 自动 恢复 服务 ， 最 好 避免 需要 手动 恢复 。 

《Google File System》 论文 第 5.1.1 节 “Fast Recovery” 提 到 : 


Both the master and the chunkserver are designed to restore their state and 
start in seconds no matter how they terminated. In fact, we do not distinguish 
between normal and abnormal termination; servers are routinely shut down just 
by killing the process. 


以 上 说 明 ， 由 于 不 必 区 分 进程 的 正常 退出 与 异常 终止 ， 程 序 也 就 不 必 
做 到 能 安全 退出 ， 只 要 能 安全 被 杀 即 可 。 这 大 大 简化 了 多 线程 服务 端 编 
程 ， 我 们 只 需 关心 正常 的 业务 逻辑 ， 不 必 为 安全 退出 进程 费心 。 

无 论 是 程序 主动 调用 exit(3) 或 是 被 管理 员 kill(1)， 进 程 都 能 立即 重启 。 
这 就 要 求 程序 只 使 用 操作 系统 能 自动 回收 的 IPC， 不 使 用 生命 期 大 于 进程 
的 IPC， 也 不 使 用 无 法 重建 的 PC。 具 体 说 ， 只 用 TCP 为 进程 间 通 信 的 唯一 
手段 ， 进 程 一 退出 ， 连 接 与 端口 自动 关闭 。 而 且 无 论 连 接 的 哪 一 方 断 连 ， 
都 可 以 重建 TCP 连 接 ， 恢 复 通 信 。 

不 要 使 用 跨 进程 的 mutex 或 semaphore， 也 不 要 使 用 共享 内 存 ， 因 为 进 
程 意外 终止 的 话 ， 无 法 清理 资源 ， 特 别 是 无 法 解锁 。 另 外 也 不 要 使 用 父子 
进程 共享 文件 描述 符 的 方式 来 通信 (pipe(2)) ， 父 进程 死 了 ， 子 进程 怎么 
办 ? pipe 是 无 法 重建 的 。 


意外 重启 的 常见 情况 及 其 原因 是 


:服务 进程 本 机 重启 一 一 程序 bug 或 内 存 耗 尽 。 
-机 器 重启 kerel bug， 偶 然 硬 件 错 误 。 
.服务 进程 移 机 重启 一 一 硬件 二 网 络 故障 。 


协议 设计 时 应 该 要 求 客户 端 在 TCP 连 接 断 开 后 能 自动 重 连 ，muduo 的 
TcpClient 自 带 此 功能 。 但 在 某 些 故障 中 客户 端 不 能 立刻 收 TCP 断 开 的 消 
息 ， 因 此 也 要 求 客户 端 检测 服务 端 心跳 ， 并 能 自动 failover 到 备用 地 址 

(89.3) 。 但 是 换 机 器 的 话 ， 如 何 通知 客户 端 ? (89.8.4) 
如 何 优 雅 地 重启 ? 对 于 计划 中 的 重启 ， 一 般 可 以 采取 以 下 步 又 。 


1. 先 主动 停止 一 个 服务 进程 心跳 : 

.对 于 短 连 接 ， 关 闭 listen port， 不 会 有 新 请 求 到 达 。 

.对 于 长 连接 ， 客 户 会 主动 failover 到 备用 地 址 或 其 他 活着 的 服务 端 。 
2. 等 一 段 时 间 ， 直 到 该 服务 进程 没有 活动 的 请 求 。 

3. kill 并 重启 进程 (通常 是 新 版 本 ) 。 

4. 检查 新 进程 的 服务 正常 与 否 。 

5. 依次 重启 服务 端 剩 余 进程 ， 可 避免 中 断 服务 。 


除了 要 求 客 户 端 能 正确 处 理 心 跳 和 TCP 重 连 ， 还 要 求 客 户 端 能 同时 兼 
容 新 旧版 本 的 服务 端 协议 〈$9.6) 。 

升级 $9.1.2 提 到 的 Thumbnailer 服 务 就 可 以 采取 这 个 办 法 ， 完 全 可 以 做 
到 不 中 断 服 务 ， 因 为 每 步 只 杀 掉 一 个 Thumbnailer 进 程 ， 缩 略图 服务 始终 是 
可 用 的 。 如 果 要 升级 Web 服 务 器 ， 可 以 考虑 Joshua Zhu 介绍 的 Nginx 热 升级 
办 法 =。 

另外 一 种 升级 软件 的 做 法 是 “迁移 ”。 先 启动 一 个 新 版 本 的 服务 进程 ， 
然后 让 旧版 本 的 服务 进程 停止 接受 新 请 求 ， 把 所 有 新 请 求 都 导向 新 进程 。 
这 样 一 段 时 间 之 后 ， 旧 版 本 的 服务 进程 上 已 经 没有 活动 请 求 ， 可 以 直接 kill 
进程 ， 完 成 迁移 和 升级 。 在 此 升级 过 程 中 服务 不 中 断 ， 每 个 用 户 不 必 在 意 
自己 是 连接 到 新 版 本 还 是 旧版 本 的 服务 。 一 些 看 似 不 能 中 断 的 服务 可 以 采 
用 这 种 方式 升级 ， 因 为 单个 请 求 的 时 长 总 是 有 限 的 。 


扯 远 一 句 ， 火 星 探 路 者 (pathfinder) 也 经 历 过 真正 的 远程 重启， 发 
生 在 距离 地 球 几 亿 王 米 的 火星 上 。 


9.3 ”分布 式 系统 中 心跳 协议 的 设计 


前 面 提 到 使 用 TCP 连 接 作 为 分 布 式 系统 中 进程 间 通 信 的 唯一 方式 ， 其 
好 处 之 一 是 任何 一 方 进程 意外 退出 的 时 候 对 方 能 及 时 得 到 连接 断 开 的 通 
知 ， 因 为 操作 系统 会 关闭 进程 使 用 中 的 TCP socket， 会 往 对 方 发 送 FIN 分 节 
(TCP segment) 。 尽 管 如 此 ， 应 用 层 的 心跳 还 是 必 不 可 少 的 。 原 因 有 


-如果 操 作 系统 衣 冲 导致 机 器 重 局， 没有 机 会 发 送 FIN 分 玉 。 

:服务 器 硬件 故障 导致 机 器 重启 ， 也 没有 机 会 发 送 FIN 分 节 。 

并 发 连接 数 很 高 时 ， 操 作 系统 或 进程 如 果 重 启 ， 可 能 没有 机 会 断 开 全 
部 连接 。 换 句 话 说，FIN 分 节 可 能 出 现 丢 包 ， 但 这 时 没有 机 会 重 试 。 

网络 故障 ， 连 接 双方 得 知 这 一 情况 的 唯一 方案 是 检测 心跳 超时 。 


为 什么 TCP keepalive 不 能 替代 应 用 层 心跳 ? 心跳 除了 说 明 应 用 程序 还 
活着 (进程 还 在 ， 网 络 通畅 ， 更 重要 的 是 表明 应 用 程序 还 能 正常 工作 。 
而 TCP keepalive 由 操作 系统 负责 探查 ， 即 便 进 程 死 锁 或 阻塞 ， 操 作 系 统 也 
会 如 常 收发 TCP keepalive 消 息 。 对 方 无 法 得 知 这 一 异常 。 

心跳 协议 的 基本 形式 是 : 如 果 进 程 C 依 赖 S， 那 么 S 应 该 按 固 定 周期 向 
C 发 送 心跳 ， 而 C 按 固定 的 周期 检查 心跳 。 换 言 之 ， 通 常 是 服务 端 向 客户 
端 发 送 心 跳 ， 例 如 89.1.2 提 到 的 Thumbnailer 服 务 应 该 向 Web Server 定 期 发 送 
心跳 ， 如 图 9-6 所 示 。 
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图 9-6 


图 9-6 中 Sender 以 1 秒 为 周期 向 Receiver 发 送 心跳 消息 ， 而 Receiver 以 1 秒 
为 周期 检查 心跳 消息 。 注 意 到 Sender 和 Receiver 的 计时 器 是 独立 的 ， 因 此 可 
能 会 出 现 图 9-7 所 示 的 “发 送 和 检查 时 机 不 对 齐 ” 情 况 ， 这 是 完全 正常 的 。 
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图 9-7 


心跳 的 检查 也 很 简单 ， 如 果 Receiver 最 后 一 次 收 到 心跳 消息 的 时 间 与 
当前 时 间 之 差 超过 某 个 timeout 值 ， 那 么 就 判断 对 方 心跳 失效 。 例 如 Sender 
所 在 的 机 器 在 T. 二 11.5 时 刻 月 演 ，Receiver 在 T, 二 12 时 刻 检查 心跳 是 正常 
的 ， 在 T, 三 13 时 刻 发 现 过 去 timeout 秒 之 内 没有 收 到 心跳 消息 ， 于 是 判断 心 
跳 失 效 (图 9-8) 。 注 意 到 这 距离 实际 发 生 骨 溃 的 时 刻 已 过 去 了 1.5 秒 ， 这 
是 不 可 避免 的 延迟 。 分 布 式 系统 没有 全 局 瞬时 状态 ， 不 存在 立刻 判断 对 方 
故障 的 方法 ， 这 是 分 布 式 系统 的 本 质 困 难 (89.1.1) 。 
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如 果 要 保守 一 些 ， 可 以 在 连续 两 次 检查 都 失效 的 情况 下 认定 Sender 已 
无 法 提供 服务 ， 但 这 种 方法 发 现 故 障 的 延迟 比 前 一 种 方法 要 多 一 个 检查 周 
期 。 这 反映 了 心跳 协议 的 内 在 矛盾 : 高 置信 度 与 低 反 应 时 间 不 可 兼 得 。 

现在 的 问题 是 如 何 确定 发 送 周期 、 检 查 周期 、timeout 这 三 个 值 。 通 常 
Sender 的 发 送 周 期 和 Receiver 的 检查 周期 相同 ， 均 为 T. ;而 timeout>T。， 
timeout 的 选择 要 能 容忍 网 络 消息 延 时 波动 和 定时 器 的 波动 。 图 9-9 中 TT, 三 
12.1 发 出 的 消息 由 于 网 络 延迟 波动 ， 错 过 了 检查 点 ， 如 果 timeout 过 小 ， 会 
造成 误 报 。 
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尽管 发 送 周 期 和 检查 周期 均 为 T. ， 但 无 法 保证 每 个 检查 周期 内 恰好 收 
到 一 条 心跳 ， 有 可 能 一 条 也 没有 收 到 。 因 此 为 了 避免 误 报 (false 
alarm) ， 通 常 可 取 timeout 二 2T。。 

T. 的 选择 要 平衡 两 方面 因素 : T. 越 小 ，Sender 和 Receiver 单 位 时 间 内 
处 理 的 心跳 消息 越 多 ， 开 销 越 大 ; T. 越 大 ，Receiver 检 测 到 故障 的 延迟 也 
就 越 大 。 在 故障 延迟 敏感 的 场合 ， 可 取 T. =1s， 否 则 可 取 T. 三 10s。 总 结 
一 下 心跳 的 判断 规则 : 如 果 最 近 的 心跳 消息 的 接收 时 间 早 于 now 一 2T。， 
可 判断 心跳 失效 。 

心跳 消息 应 该 包含 发 送 方 的 标识 符 ， 可 按 89.4 的 方式 确定 分 布 式 系统 
中 每 个 进程 的 唯一 标识 符 。 建 议 也 包含 当前 负载 ， 便 于 客户 端 做 负载 均 
衡 。 由 于 每 个 程序 对 “负载 ”的 定义 不 同 ， 因 此 心跳 消息 的 格式 也 就 各 不 相 
同 。 我 认为 可 以 在 某 些 公共 字段 的 基础 上 增加 应 用 程序 的 特定 字段 ， 而 不 
要 强行 规定 全 部 程序 都 用 相同 的 心跳 消息 格式 。 

以 上 是 Sender 和 Receiver 直 接 通过 TCP 连 接 发 送 心跳 的 做 法 ， 如 果 
Sender 和 Receiver 之 间 有 其 他 消息 中 转 进 程 ， 那 么 还 应 该 在 心跳 消息 中 加 上 
Sender 的 发 送 时 间 ， 防 止 消息 在 传输 过 程 中 堆积 而 导致 假 心跳 〈( 见 图 9- 
10) 。 相 应 的 判断 规则 改 为 : 如 果 最 近 的 心跳 消息 的 发 送 时 间 早 于 now 一 
2T. ， 心 跳 失 效 。 使 用 这 种 方式 时 ， 两 台 机 器 的 时 间 应 该 都 通过 NTP 协 议 
与 时 间 服 务 器 同步 ， 否 则 几 秒 的 时 钟 差 可 能 造成 误 判 心跳 失效 ， 因 为 
Receiver 始 终 收 到 的 是 “过 去 ”发 送 的 消息 =。 
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考虑 到 阎 秒 的 影响 ，T, 小 于 1 秒 是 无 意义 的 ， 因 为 闽 秒 会 让 两 台 机 器 
的 相对 时 差 发 生 跳 变 ， 可 能 造成 误 报警 ， 如 图 9-11 所 示 。 
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计算 机 的 计时 是 UTC 时 间 ，UTC 时 间 会 受 闲 秒 的 影响 ， 它 不 是 完全 均 
匀 流 逝 的 。 目 前 半 秒 的 插入 点 是 在 每 年 的 固定 日 期 (12 月 31 日 或 6 月 30 
日 ) ， 不 考虑 星期 几 。 这 会 对 日 常生 活 (特别 是 电子 化 交易 ) 造成 影响 。 
我 认为 应 该 修改 规则 ， 在 年 末 或 年 中 的 某 个 星期 日 凌晨 (GMT 时 区 ) 插入 
浆 秒 ， 避 免 在 交易 时 段 出 现时 间 跳 变 。 NTP 协 议 对 关 秒 的 处 理 也 比较 伪 
硬 ， 基 本 采取 暂停 时 钟 的 办 法 来 插入 头 秒 ， 这 会 造成 分 布 式 系统 中 两 台 机 
器 在 发 生 闲 秒 时 突然 出 现时 间 差 ， 即 便 它 们 的 时 钟 都 是 和 NTP 服 务 器 对 准 
的 。 在 分 布 式 系统 中 ， 有 时 我 们 需要 特别 处 理 这 一 问题 ， 尤 其 在 设计 容错 
协议 的 时 候 ， 见 Google 的 一 篇 blogs。 

心跳 协议 还 有 两 个 实现 上 的 关键 点 : 


1. 要 在 工作 线程 发 送 ， 不 要 单独 起 一 个 “心跳 线程 ”。 
2. 与 业务 消息 用 同一 个 连接 ， 不 要 单独 用 心跳 连接 ” 


这 么 做 的 原因 是 为 了 防止 伪 心 跳 。 
对 于 第 1 点 ， 这 是 防止 工作 线程 死 锁 或 阻塞 时 还 在 继续 发 心跳 。 对 于 
采用 86.6 方 案 5 的 单线 程 服务 程序 ， 应 该 用 EventLoop::runEvery() 注 册 周 期 


性 定时 器 回调 ， 在 回调 函数 中 发 送 心跳 消息 。 对 于 采用 方案 8 的 多 线程 服 
务 器 ， 应 该 用 EventLoop::runEvery0 注 册 周 期 性 定时 器 回调 ， 在 回调 函数 中 
往 线程 池 post 一 个 任务 ， 该 任务 会 发 送 心跳 消息 。 这 样 就 能 有 效 地 检测 工 
作 线 程 死 锁 或 阻塞 的 情况 。 对 于 方案 9 和 方案 11 也 可 以 采取 类 似 的 办 法 ， 
对 多 个 EventLoop 轮 流 调用 runInLoop0， 以 防止 某 个 业务 线程 死 锁 还 继续 
发 送 心跳 。 

对 于 第 2 点 ， 心 跳 消 息 的 作用 之 一 是 验证 网 络 畅通 ， 如 果 它 验证 的 不 
是 收发 业务 数据 的 TCP 连 接 畅 通 ， 那 其 意义 就 大 为 缩水 了 。 特 别 要 避免 用 
TCP 做 业务 连接 ， 用 UDP 发 送 心跳 消息 ， 防 止 一 旦 TCP 业 务 连接 上 出 现 消 
息 堆 积 而 影响 正常 业务 处 理 时 ， 程 序 还 一 如 既往 地 发 送 UDP 心 跳 ， 造 成 客 
户 端 误 认为 服务 可 用 。 《Release It》 一 书 第 4.1 节 “The 5 am. Problem” 讲 了 
一 个 生动 的 例子 ， 用 于 描述 心跳 也 是 合适 的 。 这 个 例子 说 的 是 Sender 和 
Receiver 位 于 两 个 数据 中 心 ， 之 间 有 网 络 防 火 墙 。 网 络 防火 墙 的 一 个 特点 
是 会 自动 检测 TCP 死 链接 ， 即 长 期 没有 消息 往来 的 TCP 连 接 ， 并 清除 内 存 
中 的 连通 规则 。 原 来 的 程序 通过 单独 的 TCP 连 接 发 送 心跳 ， 与 业务 数据 不 
在 同一 TCP 连 接 。 由 于 心跳 始终 在 周期 性 地 发 送 ， 因 此 ， 防 火 墙 认为 这 个 
TCP 连 接 是 活动 的 。 但 是 业务 连接 在 每 天 晚上 有 很 长 一 段 时 间 没 有 数据 交 
互 ， 防 火 墙 就 判断 其 为 死 链 接 ， 并 且 不 再 转发 此 链接 的 IP packet。 尽管 
Sender 和 Receiver 还 认为 这 个 TCP 业 务 连 接 活 着 ,但 防火 墙 实际 上 已 经 让 连 
接 断 开 了 。 当 每 天 早上 5 点 钟 第 一 笔 订单 进 来 的 时 候 ， 始 终 会 出 现 超 时 错 
误 ， 因 为 业务 连接 的 TCP segment 无 法 到 达 对 方 。TCP 协 议 要 经 过 很 长 一 段 
时 间 才 能 真正 判断 连接 断 开 (相当 于 中 途 断 网 ，TCP 会 重 试 很 多 次 ) ， 这 
时 只 有 重启 一 方 的 进程 才能 快速 修复 错误 。 当 把 心跳 消息 放 到 业务 连接 上 
之 后 ， 间 题 就 迎刃而解 了 。 


9.4 ”分 布 式 系统 中 的 进程 标识 


本 节 假 定 一 台 机 器 (host) 只 有 一 个 IP， 不 考虑 multihome 的 情况 8。 
同时 假定 分 布 式 系统 中 的 每 一 台 机 器 都 正确 运行 了 NTP， 各 台 机 器 的 时 间 
大 体 同 步 。 


“进程 (process) “是 操作 系统 的 两 大 基本 概念 之 一 ， 指 的 是 在 内 存 中 
运行 的 程序 。 在 日 常 交流 中 , “进程 > 这 个 词 通常 不 止 这 一 个 意思 。 有 时 候 
我 们 会 说 “httpd 进 程 ?或 者 “mysqld 进 程 ”， 指 的 其 实 是 program， 而 不 一 定 是 
特 指 某 一 个 “进程 ”> 一 一 某 一 次 fork() 系 统 调 用 的 产物 。 一 个 “httpd 进 程 ”重启 
了 ， 它 还 是 “一 个 httpd 进 程 "。 本 文 讨论 的 是 ， 如 何 为 一 个 程序 每 次 运行 的 
进程 取 一 个 唯一 标识 符 。 也 就 是 说 ，httpd 程 序 第 一 次 运行 ， 进 程 是 
httpd_1， 它 原 地 重启 了 ， 进 程 是 httpd_2。 

本 节 所 指 的 “进程 标识 符 ” 是 用 来 唯一 标识 一 个 程序 的 “一 次 运行 的 。 
每 次 启动 一 个 进程 ， 这 个 进程 应 该 被 赋予 一 个 唯一 的 标识 符 ， 与 当前 正在 
运行 的 所 有 进程 都 不 同 ; 不 仅 如 此 ， 它 应 该 与 历史 上 曾经 运行 过 ， 目 前 已 
消亡 的 进程 也 都 不 同 (这 两 条 的 直接 推论 是 ,与 将 来 可 能 运行 的 进程 也 都 
不 同 ) 。“ 为 每 个 进程 命名 ”在 分 布 式 系 统 中 有 相当 大 的 实际 意义 ， 特 别 是 
在 考虑 failover 的 时 候 。 因 为 一 个 程序 重启 之 后 的 新 进程 和 它 的 “前 世 进 程 ” 
的 状态 通常 不 一 样 ， 凡 是 与 它 打 交道 的 其 他 进程 (s) 最 好 能 通过 它 的 进程 标 
识 符 变更 来 很 容易 地 判断 该 程序 已 经 重启 ， 而 采取 必要 的 救灾 措施 ， 防 止 
搭 错 话 。 

本 节 先 假定 每 个 服务 端 程序 的 端口 是 静态 分 配 的 ， 在 公司 内 部 有 一 个 
公用 wiki 来 记录 端口 和 程序 的 对 应 关系 (然后 通过 NIS 或 DNS 发 布 ); 。 比 
如 端口 11211 始 终 对 应 memcached， 其 他 程序 不 会 使 用 11211 端 口 ; 3306 始 
终 留 给 mysqld; 3690 始 终 留 给 svnserve。 在 分 布 式 系统 的 初级 阶段 ， 这 是 
通常 的 做 法 ; 到 了 高 级 阶段 ， 多 半 会 用 动态 分 配 端口 号 (89.8) ， 因 为 端 
口号 只 有 6 万 多 个 ， 是 稀缺 资源 ， 在 公司 内 部 也 有 分 配 完 的 一 天 。 

我 们 假定 在 一 台 机 器 上 ， 一 个 listening port 同 时 只 能 由 一 个 进程 使 用 ， 
不 考虑 古老 的 listen0) 十 forkO 模 型 (多 个 进程 可 以 accept 同 一 个 端口 上 进来 
的 连接 ) 。 关 于 这 点 我 已 经 写 了 很 多 ， 见 第 3 章 。 本 书 只 考虑 TCP 协 议 ， 不 
考虑 UDP 协议 ,“ 端 口 ” 指 的 都 是 TCP 痛 口 。 


9.4.1 错误 做 法 


在 分 布 式 系统 中 ， 如 何 指 涉 (refer to) 某 一 个 进程 呢 ， 或 者 说 一 个 进 
程 如 何 取 得 自己 的 全 局 标识 符 (以 下 简称 gpid) ? 容易 想到 的 有 两 种 做 
法 : 


“ip:porte 
‘host:pid 


而 这 两 种 做 法 都 有 问题 。 为 什么 ? 

如 果 进 程 本 身 是 无 状态 的 ， 或 者 重启 了 也 没有 关系 ， 那 么 用 ip:port 来 
标识 一 个 “服务 是 没 问题 的 ， 比 如 常见 的 httpd 和 memcached 都 可 以 用 它们 
的 惯用 port (80 和 11211) 来 标识 。 我 们 可 以 在 其 他 程序 里 安全 地 引用 

(refer to) “运行 在 10.0.0.5:80 的 那个 HTTP 服 务 器 ”， 或 者 *10.0.0.6:11211 的 
memcached”， 就 算 这 两 个 service 重 启 了 ， 也 不 会 有 太 恶 劣 的 后 果 ， 大 不 了 
客户 端 重 试 一 下 ， 或 者 自动 切换 到 备用 地 址 。 

如 果 服 务 是 有 状态 的 ， 那 么 ip:port 这 种 标识 方法 就 有 大 问题 ， 因 为 客 
户 端 无 法 区 分 从 头 到 尾 和 自己 打交道 的 是 一 个 进程 还 是 先后 多 个 进程 。 如 
果 客 户 端 和 服务 端 直接 通过 TCP 相 连 ， 那 么 可 以 获知 进程 退出 引发 的 连接 
断 开 事 件 。 但 是 如 果 客 户 端 与 服务 端 之 间 用 某 种 消息 中 间 件 来 回转 发 消 
息 ， 那 么 客户 端 必须 通过 进程 标识 才能 识别 服务 端 。 在 开发 服务 端 程序 的 
时 候 ， 为 了 能 快速 重启 ， 我 们 一 般 都 会 设置 SO_REUSEADDR， 这 样 的 结 
果 是 前 一 秒 站 在 10.0.0.7:8888 后 面 的 进程 和 后 一 秒 占 据 10.0.0.7:8888 的 进程 
可 能 不 相同 服务 端 程序 快速 重启 了 。 

比方 说 ， 考 虑 一 个 类 似 GFS 的 分 布 式 文件 系统 的 master， 如 果 它 仪 以 
ip:port 来 标识 自己 ， 然 后 它 向 shadows (不 是 chunk server) 下 达 同 步 指令 ， 
那么 shadows 如 何 得 知 master 是 不 是 已 经 重启 呢 ? 发 指令 的 是 master 的 “前 
世 ” 还 是 “今生 ”? 是 不 是 应 该 拒绝 “前 世 ” 的 遗 命 ? 

考虑 如 果 改 成 host:pid 这 种 标识 方式 会 不 会 好 一 点 ? 我 认为 换 汤 不 换 
药 ， 因 为 pid 的 状态 空间 很 小 ， 重 复 的 概率 比较 大 。 比 如 Linux 的 pid 的 最 大 
值 默认 = 是 32768， 一 个 程序 重启 之 后 ， 获 得 与 前世” 相同 pid 的 概率 是 
1/32768。 或 许 有 读者 不 相信 重启 之 后 pid 会 重复 ， 理 由 是 因为 pid 是 递增 
的 ， 遇 到 上 限 再 回 到 目前 空 内 的 最 小 pid。 考 虑 一 个 服务 端 程序 A， 它 的 pid 
是 1234， 它 已 经 稳定 运行 了 好 几 天 ， 这 期 间 ，pid 已 经 增长 了 几 个 轮回 ( 因 
为 这 台 机 器 时 常会 启动 一 些 后 台 脚 本 执行 一 些 辅 助 工 作 ) 。 在 A 骨 溃 的 前 
一 刻 ， 最 近 被 使 用 的 pid 已 经 回 到 了 1232， 当 A 骨 溃 之 后 ， 某 个 守护 进程 启 
动 一 个 脚本 (pid 二 1233) 来 清理 A 的 log， 然 后 再 重启 A 程 序 ; 这 样 一 来 ， 


重启 之 后 的 A 程序 的 pid 碰 巧 和 它 的 前 世相 同 ， 都 是 1234。 也 就 是 说 ， 用 
host:pid 不 能 唯一 标识 进程 。 

那么 合 在 一 起 ， 用 ip:port:pid 呢 ? 也 不 能 做 到 唯一 。 它 和 host:pid 面 临 
的 问题 是 一 样 的 ， 因 为 ip:port 这 部 分 在 重启 之 后 不 会 变 ，pid 可 能 轮回 。 

我 猜 这 时 有 人 会 想 ， 建 一 个 中 心服 务 器 ， 专 门 分 配 系统 的 gpid 好 了 ， 
每 个 进程 启动 的 时 候 向 它 询问 自己 的 gpid。 这 和 错 得 更 远 : 这 个 全 局 pid 分 配 
器 的 gpid 由 谁 来 定 ? 如 何 保证 它 分 配 的 gpid 不 重复 (考虑 这 个 程序 也 可 能 
意外 重启 ) ? 它 是 不 是 成 为 系统 的 single point of failure? 如 果 要 对 该 gpid 
分 配器 做 容错 ， 是 不 是 面临 分 布 式 系统 的 基本 问题 : 状态 迁移 ? 

还 有 一 种 办 法 ， 用 一 个 足够 强 的 随机 数 做 gpid， 这 样 一 来 确实 不 会 重 
复 ， 但 是 这 个 gpid 本 身 也 没有 多 大 额外 的 意义 ， 不 便于 管理 和 维护 ， 比 方 
说 根据 gpid 找 到 是 哪个 机 器 上 运行 的 哪个 进程 。 


9.4.2 ”正确 做 法 


正确 做 法 : 以 四 元 组 ip:port:start_time:pid 作 为 分 布 式 系统 中 进程 的 
gpid， 其 中 start_time 是 64-bit 整 数 ， 表 示 进 程 的 启动 时 刻 (UTC 时 区 ， 从 
Unix Epoch 到 现在 的 微 秒 数 ，muduo::Timestamp) 。 理 由 如 下 : 


.容易 保证 唯一 性 。 如 果 程 序 短 时 间 重 启 ， 那 么 两 个 进程 的 pid 必 定 不 
重复 (还 没有 走 完 一 个 轮回 : 就 算 每 秒 创建 1000 个 进程 ， 也 要 30 多 秒 才 会 
轮回 ， 而 以 这 么 高 的 速度 创建 进程 的 话 ， 服 务 器 已 基本 瘫痪 了 。) ; 如 果 
程序 运行 了 相当 长 一 段 时 间 再 重启 ， 那 么 两 次 启动 的 start_time 必 定 不 重 
复 。 

产生 这 种 gpid 的 成 本 很 低 〈 几 次 低 成 本 系统 调用 ) ， 没 有 用 到 全 局 服 
务 器 ， 不 存在 single point of failureo 

.gpid 本 身 有 意义 ， 根 据 gpid 立 刻 就 能 知道 是 什么 进程 (port) ， 运 行 
在 哪 台 机 器 (IP) ， 是 什么 时 间 启 动 的 ， 在 /proc 目 录 中 的 位 置 
(/proc/pid) 等 ， 进 程 的 资源 使 用 情况 也 可 以 通过 运行 在 那 台 机 器 上 的 监 
控 程 序 报告 出 来 。 

.gpid 具 有 历史 意义 ， 便 于 将 来 追溯 。 比 方 说 进程 crash， 那 么 我 知道 它 
的 gpid， 就 可 以 去 历史 记录 中 查询 它 crash 之 前 的 CPU 和 内 存 负载 有 多 大 。 


如 果 仅 以 ip:port':start_time 作 为 gpid， 则 不 能 保证 唯一 性 ， 如 果 程 序 短 
时 间 重 启 〈 间 隔 一 秒 或 几 秒 ) ，start_time 可 能 会 往 回 跳 变 (NTP 在 调 时 
间 ) 或 暂停 《正好 处 于 闲 秒 期 间 ) 。 

没有 port 怎 么 办 ?一般 来 说 ， 一 个 网 络 服务 程序 会 侦 听 某 个 端口 来 提 
供 服 务 ， 如 果 它 是 个 纯粹 的 客户 端 ， 只 主动 发 起 连接 ， 没 有 主动 侦 听 端 
口 ，gpid 该 如 何 分 配 呢 ? 根据 89.5 的 观点 ， 分 布 式 系统 中 的 每 个 长 期 运行 
9、 会 与 其 他 机 器 打交道 的 进程 都 应 该 提供 一 个 管理 接口 ， 对 外 提供 一 个 
维修 探查 通道 ， 可 以 查看 进程 的 全 部 状态 。 这 个 管理 接口 就 是 一 个 TCP 
server， 它 会 侦 听 某 个 port。 

使 用 这 样 的 维修 通道 的 一 个 额外 好 处 是 ， 可 以 自动 防止 重复 启动 程 
序 。 因 为 如 果 重 复 启 动 ，bind 到 那个 运 维 port 的 时 候 会 出 错 (端口 已 被 占 
用 ) ， 程 序 会 立刻 退出 。 更 妙 的 是 ， 不 用 担心 进程 crash 没 来 得 及 清理 锁 
(如 果 用 跨 进 程 的 mutex 就 有 这 个 风险 ) ， 进 程 关 闭 的 时 候 操 作 系统 会 自 
动 把 它 打开 的 port 都 关上 ， 下 一 个 进程 可 以 顺利 启动 。 

进一步 ， 还 可 以 把 程序 的 名 称 和 版 本 号 作为 gpid 的 一 部 分 ， 这 起 到 锦 
上 添 花 的 作用 。 

有 了 唯一 的 gpid， 那 么 生成 全 局 唯一 的 消息 id 字符 串 也 十 分 简单 ， 只 
要 在 进程 内 使 用 一 个 原子 计数 器 ， 用 计数 器 递增 的 值 和 gpid 即 可 组 成 每 个 
消息 的 全 局 唯一 id。 这 个 消息 id 本 身 包含 了 发 送 者 的 gpid， 便 于 仍 湖 。 当 消 
息 被 传递 到 多 个 程序 中 ， 也 可 以 根据 gpid 追 溯 其 来 源 。 


9.4.3 TCP 协议 的 启示 


本 节 讲 的 这 个 gpid 其 实 是 由 TCP 协 议 启 发 而 来 的 。TCP 用 ip:port 来 表示 
endpoint， 两 个 endpoint 构 成 一 个 socket。 这 似乎 符合 一 开始 提 到 的 以 ip:port 
来 标识 进程 的 做 法 。 其 实 不 然 。 在 发 起 TCP 连 接 的 时 候 ， 为 了 防止 前 一 次 
同样 地 址 的 连接 (相同 的 local_ip:local_port:remote_ip:remote_port) 的 干扰 

( 称 为 wandering duplicates， 即 流浪 的 packets) ，TCP 协 议 使 用 seq 号 码 

(这 种 在 SYN packet 里 第 一 次 发 送 的 seq 号 码 称 为 initial sequence number， 
ISN) 来 区 分 本 次 连接 和 以 往 的 连接 。TCP 的 这 种 思路 与 我 们 防止 进程 的 
“前 世 * 干 扰 “ 今 生 * 很 相像 。 内 核 每 次 新 建 TCP 连 接 的 时 候 会 设法 递增 ISN 以 


确保 与 上 次 连接 最 后 使 用 的 seq 号 码 不 同 。 相 当 于 说 把 start_time 加 入 到 了 
endpoint 之 中 ， 这 就 很 接近 我 们 后 面 提 到 的 ee ' 做 法 了 。 (当然 ， 
原始 BSD 4.4 的 ISN 生 成 算法 有 安全 漏洞 ， 会 导致 TCP sequence prediction 
attack，Linux 内 核 已 经 采用 更 安全 的 办 法 来 生成 ISN。 ) 


9.5 ”构建 易于 维护 的 分 布 式 程序 


本 节 标 题 中 的 “易于 维护 ” 指 的 是 supportability， 不 是 maintainability。 
前 者 是 从 运 维 人 员 的 角度 说 ， 程 序 管理 起 来 很 方便 ， 日 常 的 劳动 负担 小 ; 
后 者 是 从 开发 人 员 的 角度 说 ， 代 码 好 读 好 改 。 

在 《分 布 式 系统 的 工程 化 开发 方法 》s 演 讲 中 我 提 到 了 一 个 观点 : 分 
机 会 与 其 他 机 器 打交道 的 进程 都 应 该 提供 一 

管理 接口 ， 对 外 提供 一 个 维修 探查 通道 ， 可 以 查看 进程 的 全 部 状态 。 一 
种 具体 的 做 法 是 在 程序 里 内 置 HTTP 服 务 器 ， 能 查看 基本 的 进程 健康 状态 
与 当前 负载 ， 包 括 活动 连接 及 其 用 途 ， 能 从 root set 开 始 查 到 每 一 个 业务 对 
象 的 状态 。 这 种 做 法 类 似 Java 的 JMX， 又 类 似 memcached 的 stats 命 令 。 

这 里 展开 谈 一 谈 这 么 做 的 必要 性 。 分 成 两 个 方面 来 说 : 一 、 在 服务 程 
序 内 置 监控 接口 的 必要 性 ， 二 、HTTP 协 议 的 便利 性 。 


必要 性 


在 程序 中 内 置 监控 接口 可 以 说 是 受 了 Linux procfs 的 启发 。 在 Linux 
查看 内 核 的 状态 不 需要 任何 特殊 的 工具 ， 只 要 用 ]s 和 cat 在 /proc 目 录 下 

Wnt 要 知道 当前 系统 中 运行 了 哪些 进程 、 每 个 进程 都 打开 了 
哪些 文件 、 进 程 的 内 存 和 CPU 使 用 情况 如 何 、 每 个 进程 启动 了 几 个 线程 、 
当前 有 哪些 TCP 连 接 、 每 个 网 卡 收发 的 字 节 数 等 等 ， 都 可 以 在 /proc 中 找到 
答案 。Linux Kernel 通 过 procfs 这 么 一 个 探查 接口 把 状态 充分 暴露 出 来 ， 让 
监控 操作 系统 的 运行 变 得 容易 。 

但 是 procfs 也 有 两 点 明显 的 不 足 : 


1. 它 只 能 暴露 system-wide 的 数据 ， 不 能 查看 每 个 进程 内 部 的 数据 。 


2. 它 是 本 地 文件 系统 ， 必 须要 登录 到 这 人 台 机 器 上 才能 查看 ， 如 果 要 


管理 很 多 台 机 器 ， 则 势必 增加 工作 量 。 


对 于 第 一 点 ， 举 例 来 说 ， 我 想 知道 某 个 我 们 自己 编写 的 服务 进程 的 运 


行情 况 : 


:到 目前 为 止 囚 计 接 受 了 多 少 个 TCP 连 接 。 

:当前 有 多 少 活动 连接 (这 个 可 以 通过 procfs 查 看 ) 。 

:每 个 活动 连接 的 用 途 是 什么 。 

一 共 响 应 了 多 少 次 请 求 。 

.每 次 请 求 的 平均 输入 输出 数据 长 度 是 多 少 字 节 。 

:每 次 请 求 的 平均 响应 时 间 是 多 少 毫 秒 。 

:进程 平均 有 多 少 个 活动 请 求 (并 发 请 求 ) 。 

:并 发 请 求 数 的 峰值 是 多 少 ， 出 现在 什么 时 候 。 

: 某 个 连接 上 平均 有 多 少 个 活动 请 求 。 

:进程 中 XXXRequest 对 象 有 多 少 份 实体 。 

:进程 中 打开 了 多 少 个 数据 库 连 接 ， 每 个 连接 的 存活 时 间 是 多 少 。 
.程序 中 有 一 个 hashmap， 保 存 了 当前 的 活动 请 求 ， 我 想 把 它 打 印 出 


: 某 个 请 求 似 乎 卡 在 某 个 步 台 了， 我 想 打 印 进程 中 该 请 求 的 状态 。 


这 些 正当 需求 只 有 通过 程序 主动 暴露 状态 才能 满足 ， 否 则 ， 就 算 ssh 登 


录 到 这 人 台 机 器 上 ， 也 看 不 到 这 些 有 用 的 进程 内 部 信息 。 (总 不 能 gdb attach 
吧 ? 那 就 让 服务 进程 暂停 响应 了 。 且 不 说 gdb 打 印 一 个 hashmap 有 多 麻 


烦 。 


) 


便利 性 


如 果 程 序 要 主动 暴露 内 部 状态 ， 那 么 以 哪 种 方式 最 为 便利 呢 ? 当然 是 


HTTP。HTTP 的 好 处 如 下 : 


: 它 是 TCP server， 可 以 远程 访问 ， 不 必 登 录 到 这 人 台 机 器 上 。 


"TCP server 的 另 一 个 好 处 是 能 安全 方便 地 防止 程序 重复 启动 ， 这 一 点 
在 89.4 已 有 论述 。 

.最 基本 的 HTTP 协 议 实现 起 来 很 简单 ， 不 会 给 服务 端 程序 带 来 多 大 负 
担 ， 见 muduo::net::HttpServer 的 例子 。 

不必 使 用 特定 的 客户 端 程序 ， 用 普通 Web 浏览 器 就 能 访问 。 

:可 以 比较 容易 地 用 脚本 语言 实现 客户 端 ， 便 于 自动 化 的 状态 收集 与 分 
析 。 

HTTP 是 文本 协议 ， 紧 急 情 况 下 在 命令 行 用 curl/wget 甚 至 telnet 也 能 访 
问 (比方 说 你 在 家 通过 ssh 连 到 公司 服务 器 解决 某 个 线 上 问题 ， 这 时 候 没 有 
Web 浏 览 器 可 用 ) 。 

-借助 URL 路 径 区 分 ， 很 容易 实现 有 选择 地 查看 一 些 信息 ， 而 不 是 把 进 
程 的 全 部 状态 一 股 脑 儿 全 dump 出 来 ， 见 muduo::net::Inspector 的 例子 ， 如 
http://host:port/request/xxx 表 示 ID 为 xxx 的 请 求 的 状态 。 

:HTTP 天 生 支 持 聚 合 ， 一 个 浏览 器 页 面 可 以 内 置 多 个 iframe， 一 眼 就 能 
看 清 多 个 进程 的 状态 。 

:除了 GET method， 如 果 有 必要 ， 还 可 以 实现 PUT/POST/DELETE， 通 
过 HTTP 协 议 来 控制 并 修改 进程 的 状态 ， 让 程序 “能 观 能 控 ”2。 

:最 好 能 在 运行 时 修改 程序 用 到 的 后 台 服 务 的 host:port (原本 写 在 配置 
文件 中 ) ， 这 样 可 以 随时 主动 切换 后 台 服 务 (平滑 升级 或 故障 预防 ) ， 而 
无 须 重启 本 进程 。 

必要 的 时 候 还 可 以 用 REST 的 方式 实现 高 级 的 聚合 ， 见 我 在 演讲 中 的 
“一 种 REST 风 格 的 监控 ”。 


另外 ， 我 们 讨论 分 布 式 系统 是 运行 在 企业 防火 墙 之 内 的 基础 设施 ， 
HTTP 的 安全 性 应 该 由 防火 墙 保 证 。 就 好 比 你 的 Hadoop master 和 memcached 
不 会 暴露 给 外 网 一 样 ， 在 公司 内 部 使 用 HTTP， 只 要 没有 人 故意 搞 破坏 就 


没事 。 
实例 
演讲 中 我 举 了 Google 的 例子 &，Google 的 每 个 服务 进程 (无 论 C++ 或 


Java) 都 会 


.提供 HTML 的 状态 页 面 ， 以 便 快 速 诊断 问题 ; 

通过 某 种 标准 接口 暴露 一 组 key-value pairs ; 

.监控 程序 定期 从 全 部 服务 进程 收集 性 能 数据 ; 

:RPC 子 系统 对 全 部 请 求 采样 : 错误 的 ， 耗 时 >0.05s，> 之 0.1s，> 
0.5s, 这 1.0s...... 


当然 ， 我 们 看 不 到 Google 内 部 的 服务 器 的 状态 页 面 究竟 是 什么 样子 ， 
不 过 可 以 看 看 别 的 例子 ， 比 如 Hadoop。Hadoop 有 四 种 主要 services: 
NameNode、DataNode、JobTracker、TaskTracker。 每 种 service 都 内 置 了 
HTTP 状 态 页 面 ， 其 默认 HTTP 端 口 分 别 是 : 


‘NameNode———50070 


‘DataNode 50075 
‘JobTracker. 50030 
"TaskTracker 50060 


如 果 某 台 机 器 运行 了 DataNode 和 TaskTracker， 那 么 我 们 可 以 通过 访问 
hostname:50075 和 http://hostname:50060 来 方便 地 查询 其 运行 状态 。 


例外 


如 果 不 方便 内 置 HTTP 服 务 ， 那 么 内 置 一 个 简单 的 telnet 服 务 也 不 难 ， 
就 像 memcached 的 stats 命 令 那 样 。 

如 果 服 务 程序 本 身 以 RPC 方 式 提供 服务 ， 那 么 可 以 不 必 内 置 HTTP 服 
务 ， 而 是 增加 一 个 RFC 调 用 实现 相同 的 功能 。 这 个 RPC 可 以 命名 为 
inspect()， 输 入 的 内 容 类 似 URL， 返 回 的 是 该 URL 对 应 的 页 面 内 容 ， 可 以 
是 文本 格式 ， 也 可 以 是 RPC 原 生 的 打包 格式 。 

如 果 是 Java 程 序 ， 可 以 直接 使 用 JMX， 也 可 以 继续 使 用 本 节 提 到 的 
HTTP 方 法 ， 这 样 管理 和 监控 的 一 致 性 较 好 ， 至 少 不 需要 为 Java 服 务 进程 准 
备 特 殊 的 客户 端 。 


小 结 


在 自己 编写 分 布 式 程序 的 时 候 ， 提 供 一 个 维修 通道 是 很 有 必要 的 ， 它 
能 帮助 日 常 运 维 ， 而 且 在 出 现 故障 的 时 候 帮 助 排查 。 相 反 ， 如 果 不 在 程序 
开发 的 时 候 统一 预 留 这 些 维修 通道 ， 那 么 运 维 起 来 就 抓 瞎 了 -每 个 进程 
都 是 黑 盒子 ， 出 点 什么 情况 都 得 拼命 查 log 试 图 恢复 (猜测) 进程 的 状态 ， 
工作 效率 不 高 。 


9.6 ”为 系统 演化 做 准备 


一 个 分 布 式 系统 的 生命 期 会 长 达 数 年 ， 在 首次 上 线 运行 之 后 ， 系 统 会 
经 历 多 次 升级 和 演化 ， 因 此 在 一 开始 设计 的 时 候 要 适当 为 将 来 考虑 。 一 个 
典型 的 考虑 点 是 : 通信 的 双方 很 有 可 能 不 会 同时 升级 。 通 信 双 方 可 能 由 不 
同 的 开发 团队 开发 ， 开 发 和 发 布 周期 不 同步 。 有 可 能 为 了 稳妥 起 见 先 升 级 
其 中 一 方 ， 验 证 稳定 性 ， 然 后 再 升级 另 一 方 。 当 然 ， 升 级 之 前 一 定 要 制定 
好 rollback 计 划 ， 留 好 退路 。 

具体 来 说 ， 服 务 端 新 加 功能 ， 不 一 定 所 有 的 客户 端 都 会 马上 升级 并 用 
上 新 功能 ， 因 此 新 的 服务 端 上 线 之 后 要 保证 和 现 有 的 客户 端的 功能 和 协议 
的 兼容 性 ， 这 样 才能 平稳 升级 。 系 统 中 的 不 同 组 件 可 能 用 不 同 的 编程 语言 
来 编写 ， 有 时 候 会 把 一 个 组 件 换 一 种 语言 重 写 ， 因 此 应 该 使 用 一 种 跨 语言 
的 可 扩展 消息 格式 。 


9.6.1 可 扩展 的 消息 格式 


考虑 服务 端 升级 的 可 能 时 ， 一 种 很 容易 想到 的 做 法 是 在 消息 中 放 入 版 
本 号 ， 服 务 端 每 次 收 到 消息 ， 先 根据 版 本 号 做 分 发 (dispatch) 。 实 践 证 明 
这 种 做 法 是 非常 不 靠 谱 的 ， 很 容易 在 服务 端 留 下 一 堆 垃 圾 代码 ， 时 间 一 
长 ， 谁 也 弄 不 清 版 本 之 间 具 体 有 哪些 细微 差别 ， 也 不 敢 轻 易 删 掉 处 理 旧 版 
本 消息 的 代码 ， 历 史 包 罕 就 一 直 背 下 去 。 

因此 ， 可 扩展 消息 格式 的 第 一 条 原则 是 避免 协议 的 版 本 号 ， 否 则 代码 
里 会 有 一 堆 堆 难以 维护 的 switch-case， 就 像 Google Protocol Buffers 文 档 举 
的 反面 例子 *。 


if (version == 3) { 


en 
} else if (version > 4) { 
if (version == 5) { 
BP re 
} 
Fr aa 


} 

另 一 种 常见 错误 是 通过 TCP 连 接 发 送 C struct 或 使 用 bit fields。 这 或 许 
是 因为 在 学 习 TCP/IP 协 议和 网 络 编程 的 时 候 ， 书 上 一 般 会 画 出 IP header 和 
TCP header， 其 中 就 有 bit fields， 这 给 人 留 下 了 一 个 错误 印象 ， 似 乎 网 络 协 
议 应 该 这 么 设计 。 其 实 不 是 这 样 的 ，C struct 和 bit fields 的 缺点 很 多 。 其 一 
是 不 易 升级 。 如 果 在 C struct 里 新 加 了 一 些 元 素 ， 通 常 要 求 客户 端 和 服务 端 
一 起 升级 ， 否 则 就 语言 不 通 了 。 其 二 是 不 跨 语 言 *。 如 果 客 户 端 和 服务 端 
用 不 同 的 语言 来 编写 ， 那 么 让 非 C/C++ 语 言 生成 和 解析 这 种 消息 格式 是 比 
较 麻 烦 的 。 而 且 更 重要 的 是 需要 时 刻 维护 其 他 语言 的 打包 、 解 包 代码 与 
C/C++ 头 文件 里 struct 定 义 的 同步 ， 稍 不 注意 就 会 造成 格式 解析 错乱 。 

解决 办 法 是 ， 采 用 某 种 中 间 语 言 来 描述 消息 格式 (schema) ， 然 后 生 
成 不 同 语言 的 解析 与 打包 代码 。 如 果 用 文本 格式 ， 可 以 考虑 JSON 或 
XML; 如 果 用 二 进 制 格 式 ， 可 以 考虑 Google Protocol Buffers。 使 用 文本 格 
式 的 一 个 常见 问题 是 处 理 转 义 字符 (escape character) ， 比 如 消息 id 字段 如 
果 出 现 '&'， 在 XML 中 要 写成 &amp;。 如 果 公 司 名 字 是 AT&T， 在 XML 中 要 
写成 <company>AT&amp;T</company>。 

Google Protobuf 是 结构 化 的 二 进 制 消息 格式 2， 兼 顾 性 能 2 与 可 扩展 
性 。 其 文档 中 说 ( 
https://developers.google.com/protocol-buffers/docs/cpptutorial ) : 


Importantly, the protocol buffer format supports the idea of extending the 
format over time in such a way that the code can still read data encoded with the 
old format. 


这 种 “中 间 语 言 ”或 者 叫 “ 数 据 描述 语言 "定义 的 消息 格式 可 以 有 可 选 字 


段 (optional fields) ， 一举 解决 了 服务 端 和 客户 端 升级 的 难题 。 新 版 的 服 
务 端 可 以 定义 一 些 optional fields， 根 据 请 求 中 这 些 字段 的 存在 与 否 来 实施 


不 同 的 行为 ， 即 可 同时 兼容 旧版 和 新 版 的 客户 端 。 给 每 个 field 赋 终生 不 变 
的 id 是 保证 兼容 性 的 绝招 ，Google Protobuf 的 文档 强调 在 升级 proto 文 件 时 
要 注意 2: 


‘you must not change the tag numbers of any existing fields. 
“you must not add or delete any required fields. 


proto 文 件 就 像 C/C++ 动态 库 的 头 文 件 ， 其 中 定义 的 消息 就 是 库 (分 布 
式 服务 ) 的 接口 ， 一 旦 发 布 就 不 能 做 有 损 二 进 制 兼 容 性 的 修改 。 因 此 811.2 
的 知识 可 以 套用 过 来 ， 包 括 不 能 更 改 已 有 的 enum 类 型 的 成 员 的 值 等 。 

PNG 文 件 给 我 们 很 好 的 启示 。PNG 是 一 种 精心 设计 的 二 进 制 文件 格 
式 ， 文 件 由 一 系列 数据 块 (chunks) 组 成 ， 每 个 数据 块 的 前 4 个 字 节 表示 该 
数据 块 的 长 度 ， 接 下 来 的 4 个 字 节 代表 该 数据 块 的 类 型 。PNG 的 解 译 程序 
会 忽略 那些 自己 不 认识 的 数据 块 ， 因 此 PNG 文 件 没有 版 本 之 说 ， 不 存在 前 
后 版 本 不 兼容 的 问题 。 

Google Protobuf 是 精心 设计 的 协议 格式 ， 还 体现 在 客户 端 可 以 先 升 
级 ， 发 送 服务 端 不 认识 的 field， 服 务 端 可 以 安全 地 跳 过 这 些 字段 。 

TCP/IP 在 设计 的 时 候 也 在 固定 长 度 的 header 之 后 预 留 了 可 选项 ， 目 前 
广泛 使 用 的 有 window scale 和 timestamp 等 。 


9.6.2 ”反面 教材 : ICE 的 消息 打包 格式 


ICEz 是 一 个 对 象 中 间 件 ， 它 实现 类 似 CORBA 的 跨 语言 、 跨 进程 的 函 
数 调用 。 我 对 ICE 的 设计 及 实现 很 不 以 为 然 。 其 中 一 个 原因 是 它 按 struct 
field 和 国 数 参数 的 顺序 来 打包 消息 ， 难 以 无 痛 升 级 。 一 旦 给 struct 新 加 一 个 
成 员 或 者 给 函数 新 加 一 个 参数 ， 客 户 端 和 服务 端 必 须 同 时 升级 ， 否 则 就 言 
语 不 通 了 。 另 外 一 个 原因 是 它 的 远程 用 数 调用 居然 能 返回 异常 。 也 就 是 
说 ， 当 服务 端的 RPC 函 数 抛 出 异常 时 ，RPC 机 制 会 捕捉 这 个 异常 ， 通 过 网 
络 传送 到 客户 端 ， 在 客户 端 重新 抛 出 这 个 异常 。 我 实在 不 理解 这 种 异常 捕 
捉 下 来 有 何 用 处 ， 客 户 端 可 能 是 Python， 服 务 端 是 C++，Python 代 码 拿 到 
C++ 异常 能 干什么 ”还 不 如 老 老 实 实 直接 返回 错误 代码 ， 处 理 起 来 更 简 
单 。 


9.7 “分 布 式 程序 的 目 动 化 回归 测试 


本 节 所 谈 的 “测试 * 指 的 是 “开发 者 测试 (developer testing) ”， 由 程序 
员 自 己 来 做 ,不 是 由 QA 团队 进行 的 系统 测试 。 这 两 种 测试 各 有 各 的 用 
途 ， 不 能 相互 替代 。 

811.1“ 朴 实 的 C++ 设计 ”中 谈 道 : “为 了 确保 正确 性 ， 我 们 另外 用 Java 写 
了 一 个 测试 夹具 (test harness) 来 测试 我 们 这 个 C++ 程序 。 这 个 测试 夹具 
模拟 了 所 有 与 我 们 这 个 C++ 程序 打交道 的 其 他 程序 ， 能 够 测试 各 种 正常 或 
异常 的 情况 。” 

本 节 详 细 介 绍 一 下 这 个 test harness 的 做 法 。 


自动 化 测试 的 必要 性 


我 想 自动 化 测试 的 必要 性 无 须 歼 言 ， 自 动 化 测试 是 absolutely good 
Stuff。 

基本 上 ， 要 是 没有 自动 化 的 测试 ， 我 是 不 敢 改 产品 代码 的 (“ 改 * 包 括 
添加 新 功能 和 重 构 ) 。 自 动 化 测试 的 作用 是 把 程序 已 经 实现 的 features 以 
test case 的 形式 固化 下 来 ， 将 来 任何 代码 改动 如 果 破 坏 了 现 有 的 功能 需求 就 
会 触发 测试 failure。 好 比 DNA 双 链 的 互补 关系 ， 这 种 互补 结构 对 保持 生物 
遗传 的 稳定 有 重要 作用 。 类 似 地 ， 自 动 化 测试 与 被 测 程序 的 互补 结构 对 保 
持 系统 的 功能 稳定 有 重要 作用 。 


9.7.1 ”单元 测试 的 能 与 不 能 


一 提 到 自动 化 测试 ， 我 猜 很 多 人 想到 的 是 单元 测试 (unit testing) 。 
单元 测试 确实 有 很 大 的 用 处 ， 对 于 解决 某 一 类 型 的 问题 很 有 帮助 。 粗 略 地 
说 ， 单 元 测试 主要 用 于 测试 一 个 孙 数 、 一 个 class 或 者 相关 的 几 个 class。 

最 典型 的 是 测试 纯 函 数 ， 比 如 计算 个 人 所 得 税 的 函数 ， 输 入 是 “起 征 
点 、 扣 除 五 险 一 金 之 后 的 应 纳税 所 得 额 、 税 率 表 ”*， 输 出 是 应 该 缴 的 个 
税 。 又 比如 ， 我 在 《程序 中 的 日 期 与 时 间 》 的 第 一 章 * 日 期 计算 ”= 中 用 单 
元 测试 来 验证 Julian day number 算 法 的 正确 性 。 再 比如 ， 我 在 《“ 过 家 家 ”版 
的 移动 离线 计 费 系统 实现 》* 和 《模拟 银行 窗口 排队 叫 号 系统 的 运作 》z 中 


用 单元 测试 来 检查 程序 运行 的 结果 是 否 符合 预期 。 (最 后 这 个 或 许 不 是 严 
格 意义 上 的 单元 测试 ， 更 像 是 验收 测试 。) 

为 了 能 用 单元 测试 ， 程 序 代 码 有 了 时候 需要 做 一 些 改动 。 这 对 Java 通 常 
不 构成 问题 (反正 都 编译 成 jar 文 件 ， 在 运行 的 时 候 指 定 entry point) 。 对 
于 C++， 一 个 程序 只 能 有 一 个 main() 入 口 点 ， 要 采用 单元 测试 的 话 ， 需 要 
把 功能 代码 (被 测 对 象 ) 做 成 一 个 library， 然 后 让 单元 测试 代码 (包含 
main() 遂 | 数 ) link 到 这 个 library 上 ; 当然 ， 为 了 正常 启动 程序 ， 我 们 还 需要 
写 一 个 普通 的 main0， 并 link 到 这 个 library 上 。 


单元 测试 的 缺点 


根据 我 的 个 人 经 验 ， 我 发 现 单元 测试 有 以 下 缺点 。 

阻碍 大 型 重 构 ”单元 测试 是 白 盒 测试 ， 测 试 代码 直接 调用 被 测 代 码 ， 
测试 代码 与 被 测 代码 紧 耦 合 。 从 理论 上 说 ,， “测试 "应 该 只 关心 被 测 代码 实 
现 的 功能 ， 不 用 管 它 是 如 何 实现 的 《包括 它 提供 什么 样 的 函数 调用 接 
口 ) 。 比 方 说 ， 以 前 面 的 个 税 计 算 器 函数 为 例 ， 作 为 使 用 者 ， 我 们 只 关心 
它 算 的 结果 是 否 正 确 。 但 是 ， 如 果 要 写 单元 测试 ， 测 试 代码 必须 调用 被 测 
代码 ， 那 么 测试 代码 必须 要 知道 个 税 计算 器 的 package、class、method 
name、 parameter list、return type 等 等 信息 ， 还 要 知道 如 何 构 造 这 个 class。 
以 上 任何 一 点 改动 都 会 造成 测试 失败 (编译 就 不 通过 ) 。 

在 添加 新 功能 的 时 候 ， 我 们 常会 重 构 已 有 的 代码 ， 在 保持 原 有 功能 能 
情况 下 让 代码 的 “形状 ”更 适合 实现 新 的 需求 。 一 旦 修改 原 有 的 代码 ， 单 元 
测试 就 可 能 编译 不 过 : 比如 给 成 员 函 数 或 构造 函数 添加 一 个 参数 ， 或 者 把 
成 员 函 数 从 一 个 class 移 到 另 一 个 class。 对 于 Java， 这 个 问题 还 比较 好 解 
决 ， 因 为 IDE 的 重 构 功能 很 强 ， 能 自动 找到 references， 并 修改 之 。 

对 于 C++， 这 个 问题 更 为 严重 ， 因 为 一 改 功能 代码 的 接口 ， 单 元 测试 
就 编译 不 过 了 ， 而 C++ 通常 没有 自动 重 构 工 具 〈 语 法 太 复杂 ， 语 意 太 微 
妙 ) 可 以 帮 有 我 们 ， 都 得 手动 来 。 要 么 每 改动 一 点 功能 代码 就 修复 单元 测 
试 ， 让 编译 通过 ; 要 么 留 着 单元 测试 编译 不 通过 ， 先 把 功能 代码 改 成 我 们 
想 要 的 样子 ， 再 来 统一 修复 单元 测试 。 

这 两 种 做 法 都 有 困难 ， 前 者 ，C++ 编 译 缓慢 ， 如 果 每 改动 一 点 就 修复 
单元 测试 ， 一 天 下 来 也 前 进 不 了 几 步 ， 很 多 时 间 都 浪费 在 了 等 待 编译 上 ; 


后 者 ， 问 题 更 严重 ， 单 元 测试 与 被 测 代码 的 互补 性 是 保证 程序 功能 稳定 的 
关键 ， 如 果 大 幅 修 改 功能 代码 的 同时 又 大 幅 修改 了 单元 测试 ， 那 么 如 何 保 
证 前 后 的 单元 测试 的 效果 (测试 点 ) 不 变 ? 如 果 单 元 测试 自身 的 代码 发 生 
了 改动 ， 如 何 保证 它 测 试 结果 的 有 效 性 ? 会 不 会 某 个 手 误 让 功能 代码 和 单 
元 测试 犯 了 相同 的 错误 ， 负 负 得 正 ， 测 试 结果 还 是 绿 的 ， 但 是 实际 功能 
经 亮 了 红 灯 ? 难道 我 们 要 为 单元 测试 编写 单元 测试 吗 ? 

有 时 候 ， 我 们 需要 重新 设计 并 重 写 某 个 程序 《有 可 能 换 用 另 一 种 语 
言 ) 。 这 时 候 旧 代码 中 的 单元 测试 完全 作废 了 (代码 结构 发 生 巨 大 改变 ， 
甚至 连 编 程 语言 都 换 了 ) ， 其 中 包含 的 宝贵 的 业务 知识 也 付 之 东 流 ， 岂 不 
可 异 ? 

为 了 方便 测试 而 施行 依赖 注入 ， 破 坏 代 码 的 整体 性 ”为 了 让 代码 具有 
“可 测试 性 ”， 我 们 常会 使 用 依赖 注入 技术 ， 这 么 做 的 好 处 据说 是 “ 解 炮 ”， 
坏处 就 是 割裂 了 代码 的 逻辑 : 单 看 一 块 代码 不 知道 它 是 干 嘛 的 ， 它 依赖 的 
对 象 不 知道 是 在 哪儿 创建 的 ， 如 果 一 个 interface 有 多 个 实现 ， 不 到 运行 的 
时 候 不 知道 用 的 是 哪个 实现 。 (动态 绑 定 的 初衷 就 是 如 此 ， 想 来 读 过 “以 
面向 对 象 思想 实现 ”的 代码 的 人 都 明白 我 在 说 什么 。) 

以 87.3“Boost.Asio 的 聊天 服务 器 ”中 出 现 的 聊天 服务 器 ChatServer 为 
例 ，ChatServer 直 接 使 用 了 muduo::net::TcpServer 和 
muduo::net::TcpConnection 来 处 理 网 络 连接 并 收发 数据 ， 这 个 设计 简单 直 
接 。 如 果 要 为 ChatServer 写 单元 测试 ， 那 么 首先 它 肯定 不 能 在 构造 函数 里 
初始 化 TcpServer 了 。 

稍微 复杂 一 点 的 测试 要 用 mock object ChatServer 用 TcpServer 和 
TcpConnection 来 收发 消息 ， 为 了 能 单元 测试 ， 我 们 要 为 TcpServer 和 
TcpConnection 提 供 mock 实 现 ， 原 本 一 个 具体 类 TcpServer 就 变 成 了 一 个 
TcpServer interface 加 两 个 实现 TcpServerImpl 和 TcpServerMock， 同 理 
TcpConnection 也 一 化 为 三 。ChatServer 本 身 的 代码 也 变 得 复杂 ， 我 们 要 设 
法 把 TcpServer 和 TcpConnection 注 入 其 中 ，ChatServer 不 能 自己 初始 化 
TcpServer 对 象 。 

这 恐怕 是 在 C++ 中 使 用 单元 测试 的 主要 困难 之 一 。Java 有 动态 代理 ， 
还 可 以 用 cglib 来 操作 字 节 码 以 实现 注入 。 而 C++ 比较 原始 ， 只 能 自己 手工 
实现 interface 和 implementations。 这 样 原 本 紧凑 的 以 concrete class 构 成 的 代 


码 结构 因为 单元 测试 的 需要 而 变 得 松散 (所 谓 “ 面 向 接口 编程 * 嘛 ) ， 而 这 
么 做 的 目的 仅仅 是 为 了 满足 “源码 级 的 可 测试 性 ”， 是 不 是 有 一 点 因 小 失 大 
呢 ? (这 里 且 暂 时 忽略 虚 函 数 和 普通 函数 在 性 能 上 的 些微 差别 。) 对 于 不 
同 的 test case， 可 能 还 需要 不 同 的 mock 对 象 ， 比 如 TcpServerMock 和 
TcpServerFailureMock， 这 又 增加 了 编码 的 工作 量 。 

此 外 ， 如 果 程 序 中 用 到 的 涉及 IO 的 第 三 方 库 没 有 以 interface 方 式 暴露 
接口 ， 而 是 直接 提供 的 concrete class (这 是 对 的 ， 因 为 C++ 中 应 该 “避免 使 
用 虚 函 数 作 为 库 的 接口 ”， 见 811.3) ， 这 也 让 编写 单元 变 得 困难 ， 因 为 总 
不 能 自己 挨个 wrapper 一 遍 吧 ? 难道 用 link-time 的 注入 技术 ? 

某 些 failure 场 景 难以 测试 ”而 考察 这 些 场景 对 编写 稳定 的 分 布 式 系统 
有 重要 作用 。 上 比方 说 : 网 络 连 不 上 上、 数据库 超时 、 系 统 资 源 不 足 。 

对 多 线程 程序 无 能 为 力 ”如 果 一 个 程序 的 功能 涉及 多 个 线程 合作 ， 那 
么 就 比较 难 用 单元 测试 来 验证 其 正确 性 。 

如 果 程 序 涉及 比较 多 的 交互 〈 指 和 其 他 程序 交互 ， 不 是 指 图 形 用 户 界 
面 ) ， 用 单元 测试 来 构造 测试 场景 比较 尽 烦 ， 每 个 场景 要 写 一 堆 无 趣 的 代 
码 。 而 这 正 是 分 布 式 系统 最 需要 测试 的 地 方 。 

总 的 来 说 ， 单 元 测试 是 一 个 值得 掌握 的 技术 ， 用 在 适当 的 地 方 确实 能 
提高 生产 力 。 同 时 ， 在 分 布 式 系统 中 ， 我 们 还 需要 其 他 的 自动 化 测试 手 
段 。 


9.7.2 分布 式 系统 测试 的 要 扣 


在 分 布 式 系统 中 ，class 与 function 级 别 的 单元 测试 对 整个 系统 的 帮助 不 
大 。 这 种 单元 测试 对 单个 程序 的 质量 有 帮助 ， 但 是 ， 一 堆 传 头 鸡 在 一 起 是 
变 不 成 大 楼 的 。 

分 布 式 系统 测试 的 要 点 是 测试 进程 间 的 交互 : 一 个 进程 收 到 客户 请 
求 ， 该 如 何 处 理 ， 然 后 转发 给 其 他 进程 ; 收 到 响应 之 后 ， 又 修改 并 应 答 客 
户 。 测 试 这 些 多 进程 协作 的 场景 才 算 测 到 了 点 子 上 。 

假设 一 个 分 布 式 系统 由 四 五 种 进程 组 成 ， 每 个 程序 有 各 自 的 开发 人 
员 。 对 于 整个 系统 ， 我 们 可 以 用 脚本 来 模拟 客户 ， 自 动 化 地 测试 系统 的 整 
体 运 作 情 况 ， 这 种 测试 通常 由 QA 团 队 来 执行 ， 也 可 以 作为 系统 的 冒 烟 测 
试 。 


对 于 其 中 每 个 程序 的 开发 人 员 ， 上 述 测试 方 法 对 日 常 的 开发 帮助 不 
大 。 因 为 测试 要 能 通过 ， 必 须 整个 系统 都 正常 运转 才 行 ， 在 开发 阶段 ， 这 
一 点 不 是 时 时 刻 刻 都 能 满足 的 (有 可 能 你 用 到 的 新 功能 对 方 还 没有 实现 ， 
这 反 过 来 影响 了 你 的 进度 ) 。 另 一 方面 ， 如 果 出 现 测 试 失 败 ， 开 发 人 员 不 
能 立刻 知道 这 是 自己 的 程序 出 错 (也 有 可 能 是 环境 原因 造成 的 错误 ) ， 这 
通常 要 去 读 程序 日 志 才 能 判定 。 还 有 ， 作 为 开发 者 测试 ， 我 们 希望 它 无 副 
作用 ， 每 天 反复 多 次 运行 也 不 会 增加 整个 环境 的 负担 ， 以 整个 QA 系统 为 
测试 平台 不 可 避免 地 要 留 下 一 些 垃圾 数据 ， 而 清理 这 些 数据 又 会 花 一 些 宇 
贵 的 工作 时 间 。 (你 得 判断 数据 是 自己 的 测试 生成 的 还 是 别人 的 测试 留 下 
的 ， 不 能 误 删 了 别人 的 测试 数据 。) 

作为 开发 人 员 ， 我 们 需要 一 种 单独 针对 自己 编写 的 那个 程序 的 自动 化 
测试 方案 ， 一 方面 提高 日 常 开发 的 效率 ， 另 一 方面 作为 自己 那个 程序 的 功 
能 验证 测试 集 ， 以 及 回归 测试 (regression tests) 。 


9.7.3 ”分布 式 系统 的 抽象 观点 
一 台 机 器 两 根 线 


形象 地 来 看 〈 见 图 9-12) ， 一 个 分 布 式 系 统 就 是 一 堆 机 器 ， 每 台 机 器 
的 “屁股 ”上 拖 着 两 根 线 : 电源 线 和 网 线 (不 考虑 SAN 等 存储 设备 ) ， 电 源 
线 插 到 电源 插座 上 ， 网 线 插 到 交换 机 上 。 


Ethernet =. 


ee a ee poor 人 on 


这 个 模型 实际 上 说 明 ， 一 台 机 器 、 一 个 程序 表现 出 来 的 行为 完全 由 它 
接 出 来 的 两 根 线 展现 ， 本 书 不 谈 电 源 线 ， 只 谈 网 线 。 (“在 乎 服务 器 的 功 
耗 ”在 我 看 来 就 是 公司 利润 率 很 低 的 标志 ， 要 从 电费 上 抠 成 本 。) 

如 果 网 络 是 普通 的 千 兆 以 太 网 ， 那 么 吞吐 量 不 大 于 125MB/s。 这 个 香 
吐 量 比 起 现在 的 CPU 运算 速度 和 内 存 带 宽 简 直 小 得 可 怜 。 这 里 我 想 提 的 
是 ， 对 于 不 特别 在 意 ]atency 的 应 用 ， 只 要 能 让 千 焰 以 太 网 的 吞吐 量 饱 和 或 
接近 饱和 ， 用 什么 编程 语言 其 实 无 所 谓 。Java 做 网 络 服务 端 开 发 也 是 很 好 
的 选择 (不 是 指 Web 开 发 ， 而 是 做 一 些 基础 的 分 布 式 组 件 ， 例 如 ZooKeeper 
和 Hadoop 之 类 ) 。 尽 管 可 能 C++ 只 用 了 15% 的 CPU， 而 Java 用 了 30% 的 
CPU，Java 还 占用 更 多 的 内 存 ， 但 是 千 兆 网 卡带 宽 都 已 经 跑 满 ， 那 些 省 下 
的 资源 也 只 能 浪费 了 ;对 于 外 界 (从 网 线 上 看 来 ) 而 言 ， 两 种 语言 的 效果 
是 一 样 的 ， 而 通常 Java 的 开发 效率 更 高 。Java 比 C++ 慢 一 些 ， 但 是 通过 千 兆 
网 络 不 一 定 能 看 得 出 这 个 区 别 来 。 同 样 的 道理 ， 单 机 程序 的 某 些 “ 性 能 优 
化 ”不 一 定 真 能 提高 系统 整体 表现 出 来 的 、 能 被 观察 到 的 性 能 ， 这 也 是 本 
书 基本 不 谈 微 观 性 能 优化 的 主要 原因 。 在 弄 清 楚 系 统 瓶 颈 之 前 贸然 投入 优 
化 往往 是 浪费 时 间 和 精力 ， 还 耽误 了 项 目 进 度 ， 顾 为 不 值 。 


进程 间 通 过 TCP 相 互 连 接 


我 在 83.4 提 倡 仅 使 用 TCP 作 为 进程 间 通 信 的 手段 ， 此 处 这 个 观点 将 再 
次 得 到 验证 。 


图 9-13 是 Hadoop 的 分 布 式 文 件 系统 HDFS 的 架构 简 图 。 
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图 9-13 


HDFS 有 四 个 角色 参与 其 中 ，NameNode (保存 元 数据 ) 、DataNode 
(存储 节点 ， 多 个 ) 、Secondary NameNode (定期 写 check point) 、Client 
(客户 ， 系 统 的 使 用 者 ) 。 这 些 进程 运行 在 多 台 机 器 上 ， 之 间 通 过 TCP 协 

议 互 联 。 程 序 的 行为 完全 由 它 在 TCP 连 接 上 的 表现 决定 (TCP 就 好 比 前 面 
是 到 的 “网 线 ”) 。 

在 这 个 系统 中 ， 一 个 程序 其 实 不 知道 与 自己 打交道 的 到 底 是 什么 。 比 
如 ， 对 于 DataNode， 它 其 实 不 在 乎 自己 连接 的 是 真 的 NameNode 还 是 某 个 
调皮 的 小 孩 用 Telnet 模 拟 的 NameNode， 它 只 管 接 受命 令 并 执行 。 对 于 
NameNode， 它 其 实 也 不 知道 DataNode 是 不 是 真 的 把 用 户 数 据 存 到 磁盘 上 
去 了 ， 它 只 需要 根据 DataNode 的 反馈 更 新 自己 的 元 数据 就 行 。 这 已 经 为 我 
们 指明 了 方向 。 


9.7.4 一 种 自动 化 的 回归 测试 方案 
假如 我 是 NameNode 的 开发 者 ， 为 了 能 自动 化 测试 NameNode， 我 可 以 


为 它 写 一 个 test harness (这 是 一 个 独立 的 进程 ) ， 这 个 test harness 仿 冒 
(mock) 了 与 被 测 进程 打交道 的 全 部 程序 。 如 图 9-14 所 示 ， 是 不 是 有 点 像 
“全 中 之 脑 ”? 
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Test Harness for NameNode 
图 9-14 


对 于 DataNode 的 开发 者 ， 他 们 也 可 以 写 一 个 专门 的 test hamess， 模 拟 
Client 和 NameNode ( 见 图 9-15) 。 
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图 9-15 
test harness 的 优点 


.完全 从 外 部 观察 被 测 程序 ， 对 被 测 程序 没有 侵入 性 ， 代 码 该 怎么 写 就 
怎么 写 ， 不 需要 为 测试 留 路 。 

能 测试 真实 环境 下 的 表现 ， 程 序 不 是 单独 为 测试 编译 的 版 本 ， 而 是 将 
来 真实 运行 的 版 本 。 数 据 也 是 从 网 络 上 读 取 ， 发 送 到 网 络 上 。 

:允许 被 测 程序 做 大 的 重 构 ， 以 优化 内 部 代码 结构 ， 只 要 其 表现 出 来 的 
行为 不 变 ， 测 试 就 不 会 失败 。 (在 重 构 期 间 不 用 修改 test case。) 

:能 比较 方便 地 测试 failure 场 景 。 比 如 ， 若 要 测试 DataNode 出 错时 
NameNode 的 反应 ， 只 要 让 test harness 模 拟 的 那个 mock DataNode 返 回 我 们 
想 要 的 出 错 信息 。 要 测试 NameNode 在 某 个 DataNode 失 效 之 后 的 反应 ， 只 
要 让 test harness 断 开 对 应 的 网 络 连接 即 可 。 要 测量 某 请 求 超时 的 反应 ， 只 
要 i 上 test harness 不 返回 结果 即 可 。 这 对 构建 可 靠 的 分 布 式 系统 尤为 重要 。 

.帮助 开发 人 员 从 使 用 者 的 角度 理解 程序 ， 程 序 的 哪些 行为 在 外 部 是 看 
得 到 的 ， 哪 些 行为 是 看 不 到 的 。 

:有 了 一 套 比 较 完整 的 test cases 之 后 ， 甚 至 可 以 换 种 语言 重 写 被 测 程序 

(假设 为 了 提高 内 存 利用 率 ， 换 用 C++ 来 重新 实现 NameNode) ， 测 试用 例 
依旧 可 用 。 这 时 test harness 起 到 知识 传承 的 作用 。 

:发 现 bug 之 后 ， 往 test harmess 里 添加 能 复 现 bug 的 test case， 修 复 bug 之 
后 ，test case 继 续 留 在 harness 中 ， 防 止 出 现 回归 (regression) 。 


test harness 的 要 点 在 于 隔断 被 测 程序 与 其 他 程序 的 联系 ， 它 冒充 了 全 
部 其 他 程序 。 这 样 被 测 程序 就 像 被 放 到 测试 台 上 观察 一 样 ， 让 我 们 只 关注 
= 

test harness 要 能 发 起 或 接受 多 个 TCP 连 接 ， 可 能 需要 用 某 个 现成 的 
NIO 网 络 库 ， 如 果 不 想 写成 多 线程 程序 的 话 。 

test harness 可 以 与 被 测 程序 运行 在 同一 台 机 器 ， 也 可 以 运行 在 两 全 机 
器 上 。 在 运行 被 测 程序 的 时 候 ， 可 能 要 用 一 个 特殊 的 启动 脚本 把 它 依赖 的 
host:port 指 向 test harnesso 

-test harness 只 需要 表现 得 跟 它 要 mock 的 程序 一 样 ， 不 需要 真 的 去 实现 
复杂 的 逻辑 。 比 如 mock DataNode 只 需要 对 NameNode 返 回 “Yes sir， 数 据 已 
存 好 ”， 而 不 需要 真 的 把 数据 存 到 硬盘 上 。 若 要 mock 比 较 复杂 的 人 逻辑， 可 
以 用 “记录 + 回放 ”的 方式 ， 把 预 设 的 响应 放 到 test case 里 回放 (replay) 给 被 
测 程序 。 

:因为 通信 走 TCP 协 议 ，test harness 不 一 定 要 和 被 测 程序 用 相同 的 语 
言 ， 只 要 符合 协议 就 行 。 试 想 如 果 用 共享 内 存 实现 IPC， 这 是 不 可 能 的 。 
本 书 87.6 提 到 利用 Protobuf 的 跨 语 言 特性 ， 我 们 可 以 采用 Java 为 C++ 服 务 程 
序 编写 test harness。 其 他 跨 语 言 的 协议 格式 也 行 ， 比 如 XML 或 JSON。 

test harness 运 行 起 来 之 后 ， 等 待 被 测 程序 的 连接 ， 或 者 主动 连接 被 测 
程序 ， 或 者 兼 而 有 之 ， 取 决 于 所 用 的 通信 方式 。 

:一切 就 绪 之 后 ，test harness 依 次 执行 test cases。 一 个 NameNode test 
case 的 典型 过 程 是 : test harness 模 仿 client 向 被 测 NameNode 发 送 一 个 请 求 

(如 创建 文件 ) ，NameNode 可 能 会 联络 mock DataNode，test harness 模 仿 
DataNode 应 有 的 响应 ，NameNode 收 到 mock DataNode 的 反馈 之 后 发 送 响应 
给 client， 这 时 test harness 检 查 响 应 是 否 符合 预期 。 

test harness 中 的 test cases 以 配置 文件 (每 个 test case 有 一 个 或 多 个 文本 
配置 文件 ， 每 个 test case 占 一 个 目录 ) 方式 指定 。test harness 和 test cases 连 
同 程序 代码 一 起 用 version control 工 具 管 理 起 来 。 这 样 能 复 现 以 外 任何 一 个 
版 本 的 应 有 行为 。 

:对 于 比较 复杂 的 testcase， 可 以 用 同 入 式 脚 本 语言 来 描述 场景 。 如 果 
testharness 是 用 Java 写 的 ， 那 么 可 以 人 入 Groovy， 就 像 笔 者 在 《“ 过 家 家 ”版 
的 移动 离线 计 费 系统 实现 》 (地 址 见 此 处 脚注 76) 中 用 Groovy 实 现 计 费 逻 


辑 一 样 。Groovy 调 用 test harness 模 拟 多 个 程序 分 别 发 送 多 份 数据 并 验证 结 
果 ，Groovy 本 身 就 是 程序 代码 ， 可 以 有 逻辑 判断 甚至 循环 。 这 种 动静 结合 
的 做 法 在 不 增加 test harness 复 杂 度 的 情况 下 提供 了 相当 高 的 灵活 性 。 

test harness 可 以 有 一 个 命令 行 界面 ， 程 序 员 输 入 “run 10” 就 选择 执行 第 


10 号 test caseo 


几 个 实例 


test harness 这 种 测试 方法 适合 测试 有 状态 的 、 与 多 个 进程 通信 的 分 布 
式 程 序 ， 除 了 Hadoop 中 的 NameNode 与 DataNode， 我 还 能 想到 几 个 例子 。 

chat 聊 天 服务 器 ”聊天 服务 器 会 与 多 个 客户 端 打 交道 ， 我 们 可 以 用 
test harness 模 拟 5 个 客户 端 ， 模 拟 用 户 上 下 线 、 发 送 消息 等 情况 ， 自 动 测试 
聊天 服务 器 的 功能 。 

连接 服务 器 、 登 录 服 务 器 、 逻 辑 服务 器 ”这 是 云 风 在 他 的 blog 中 提 到 
的 三 种 网 游 服务 器 *， 我 这 里 借用 来 举例 子 。 

如 果 要 为 连接 服务 器 写 test hamess， 那 么 需要 模拟 客户 (发 起 连 
接 ) 、 登 录 服 务 器 (验证 客户 资料 ) 、 人 逻辑 服务 器 (收发 网 游 数 据 ) ， 有 
了 这 样 的 test harness， 可 以 方便 地 测试 连接 服务 器 的 正确 性 ， 也 可 以 方便 
地 模拟 其 他 各 个 服务 器 断 开 连接 的 情况 ， 看 看 连接 服务 器 是 否 应 对 自如 。 

同样 的 思路 ， 可 以 为 登录 服务 器 写 test harness。 (我 估计 不 用 为 逻辑 
服务 器 再 写 了 ， 因 为 肯定 已 经 有 自动 测试 了 。 ) 

见 87.12 的 一 个 具体 示例 。 

多 master 之 间 的 二 段 提 交 这 是 分 布 式 容错 的 一 个 经 典 做 法 。 用 test 
harness 能 把 primary master 和 secondary masters 单 独 擒 出 来 测试 。 在 测试 
Primary master 的 时 候 ，test harness 扮 演 name service 和 secondary masters。 在 
测试 secondary master 的 时 候 ，test harness 扮 演 name service、primary 
master、 其 他 secondary masters。 可 以 比较 容易 地 测试 各 种 failure 情 况 。 如 
果 不 这 么 做 ， 而 直接 部 署 多 个 masters 来 测试 ， 恐 怕 很 难 做 到 自动 化 测试 。 

Paxos 的 实现 ”Paxos 协 议 的 实现 肯定 离 不 了 单元 测试 ， 因 为 涉及 多 个 
角色 中 比较 复杂 的 状态 变迁 。 同 时 ， 如 果 我 要 写 Paxos 实 现 ， 那 么 test 
hamess 也 是 少不了 的 ， 它 能 自动 测试 Paxos 节 点 在 真实 网 络 环境 下 的 表 
现 ， 并 且 轻 松 模 拟 各 种 failure 场 景 。 


局 限 性 


如 果 被 测 程序 有 TCP 之 外 的 IO， 或 者 其 TCP 协 议 不 易 模 拟 〈 比 如 通过 
TCP 连 接 数据 库 ) ， 那 么 这 种 测试 方案 会 受到 干扰 。 

对 于 数据 库 ， 如 果 被 测 程序 只 是 简单 地 从 数据 库 SELECT 一 些 配置 信 
息 ， 那 么 或 许可 以 在 test harness 里 内 蕨 一 个 im-memory H2 DB engine， 然 后 
让 被 测 程序 从 这 里 读 取 数 据 。 当 然 ， 前 提 是 被 测 程序 的 DB driver 能 连 上 H2 

(或 许 不 是 大 问题 ，H2 支 持 JDBC 和 部 分 ODBC) 。 如 果 被 测 程序 有 比较 
复杂 的 SQL 人 代码， 那么 H2 表 现 的 行为 不 一 定 和 生产 环境 的 数据 库 一 致 ， 这 
时 候 恐 怕 还 是 要 部 署 测试 数据 库 (有 可 能 为 每 个 开发 人 员 部 署 一 个 小 的 测 
试 数据 库 ， 以 免 相 互 干 扰 ) 。 

如 果 被 测 程序 有 其 他 IO 〈 写 log 不 算 ) ， 比 如 DataNode 会 访问 文件 系 
统 ， 那 么 test harness 没 有 能 把 DataNode 完 整地 包 应 起 来 ， 有 些 failure case 不 
是 那么 容易 测试 的 。 这 时 或 许可 以 把 DataNode 指 向 tmpfs， 这 样 能 比较 容易 
地 测试 磁盘 满 的 情况 。 当 然 ， 这 样 也 有 局 限 性 ， 因 为 tmpfs 没 有 真实 磁盘 那 
么 大 ， 也 不 能 模拟 磁盘 读 写 错误 。 我 不 是 分 布 式 存储 方面 的 专家 ， 这 些 问 
题 留 给 分 布 式 文 件 系 统 的 实现 者 去 考虑 吧 。 (测试 Paxos 节 点 似乎 也 可 以 
用 tmpfs 来 模拟 persist storage， 由 test case 填 充 所 需 的 初始 数据 。) 


9.7.5 ”其 他 用 处 


test hamess 除 了 实现 features 的 回归 测试 外 ， 还 有 别 的 用 处 。 

加 速 开发 ， 提 高 生产 力 ”前 面 提 到 ， 如 果 有 个 新 功能 (增加 一 种 新 的 
request type) 需要 改动 两 个 程序 ， 有 可 能 造成 相互 等 待 : 客户 程序 A 说 要 
先 等 服务 程序 B 实 现 对 应 的 功能 响应 ， 这 样 A 才 能 发 送 新 的 请 求 ， 不 然 每 
次 请 求 就 会 被 拒绝 ， 无 法 测试 ; 服务 程序 B 说 要 先 等 A 能 够 发 送 新 的 请 
求 ， 这 样 自己 才能 开始 编码 与 测试 ， 不 然 都 不 知道 请 求 长 什么 样子 ， 也 触 
发 不 了 新 写 的 代码 。 (当然 ， 这 是 我 虚构 的 例子 。) 

如 果 A 和 B 都 有 各 自 的 test harness， 事 情 就 好 办 了 ， 双 方 大 致 商量 一 个 
协议 格式 ， 然 后 分 头 编码 。 程 序 A 的 作者 在 自己 的 harness 里 边 添加 一 个 test 
case， 模 拟 他 认为 B 应 有 的 响应 ， 这 个 响应 可 以 hard code 某 种 最 常见 的 响 
应 ， 不 必 真 的 实现 所 需 的 判断 逻辑 (毕竟 这 是 程序 B 的 作者 该 干 的 事 


情 ) ， 然 后 程序 A 的 作者 就 可 以 编码 并 测试 自己 的 程序 了 。 同 理 ， 程 序 B 
的 作者 也 不 用 等 A 拿 出 一 个 半成品 来 发 送 新 请 求 ， 他 往 自 己 的 harness 添 加 
一 个 test case， 模 拟 他 认为 A 应 该 发 送 的 请 求 ， 然 后 就 可 以 编码 并 测试 自己 
的 新 功能 了 。 双 方 齐头并进 ， 减 少 扯 皮 。 等 功能 实现 得 差不多 了 ， 两 个 程 
序 互 相连 一 连 ， 如 果 发 现 协议 不 一 致 ， 检 查 一 下 harness 中 的 新 test cases 
(这 代表 了 A/B 程 序 对 对 方 的 预期 ， 看 看 哪 边 改 动 比较 方便 ， 很 快 就 能 
解决 问题 。 

压力 测试 test harness 稍 加 改进 还 可 以 变 功能 测试 为 压力 测试 ， 供 程 
序 员 profiling 用 。 比 如 反复 不 间断 发 送 请 求 ， 向 被 测 程序 加 压 。 不 过 ， 如 
果 被 测 程序 是 用 C++ 写 的 ， 而 test harness 是 用 Java 写 的 ， 有 可 能 出 现 test 
hamess 占 100%CPU， 而 被 测 程序 还 跑 得 优 哉 游 哉 的 情况 。 这 时 候 可 以 单 
独 用 C++ 写 一 个 负载 生成 器 。 


小 结 


以 单独 的 进程 作为 test harness 对 于 开发 分 布 式 程序 相当 有 帮助 ， 它 能 
达到 单元 测试 的 自动 化 程度 和 细致 程度 ， 又 避免 了 单元 测试 对 功能 代码 结 
构 的 侵入 与 依赖 。 


9.8 ”分布 式 系统 部 署 、 监 控 与 进程 管理 的 几 重 境界 


约定 : 本 节 只 考虑 Linux 系 统 ， 文 中 涉及 的 “服务 程序 ”是 以 C++ 或 Java 
编写 的 ， 编 译 成 二 进 制 可 执行 文件 (binary 或 jar) ， 程 序 启 动 的 时 候 一 般 
会 读 取 配置 文件 (或 者 以 其 他 方式 获得 配置 信息 ) ， 同 一 个 程序 每 个 服务 
进程 的 配置 文件 可 能 略 有 不 同 。“ 服 务 器 ”这 个 词 有 多 重 含 义 ， 为 避免 混 
清 ， 本 节 以 host 指 代 服 务 器 硬件 ， 以 “服务 端 程序 进程” 指 代 服 务 器 软件 
(或 者 具体 说 Web Server 和 Sudoku Solver， 这 两 个 都 是 服务 软件 ) 。 

在 进入 正题 之 前 ， 先 看 一 个 虚构 但 典型 的 例子 : SudokuSolver。 
(SudokuSolver 是 个 均 质 的 无 状态 服务 ， 分 布 式 系统 中 进程 的 状态 迁移 不 
是 本 节 的 主题 。) 

假设 你 们 公司 的 分 布 式 系统 中 有 一 个 专门 求解 数 独 (Sudoku) 的 服务 
程序 ， 这 个 程序 是 你 们 团队 开发 并 维护 的 。 通 常 Web Server 会 使 用 这 个 


Sudoku Solver 提 供 的 服务 ， 用 户 通 过 Web 页 面 提交 一 个 Sudoku 迹 题 ， Web 
Server 转 而 向 Sudoku Solver 寻 求 答案 。 每 个 Web Server 会 同时 跟 多 个 Sudoku 
Solver 联 系 ， 以 实现 负载 均衡 。 系 统 的 消息 收发 关系 大 致 如 图 9-16 所 示 ， 
每 个 矩形 是 一 个 进程 ， 运 行 在 各 自 的 host 上 。 


ER 


Web Server 
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图 9-16 
图 9-16 中 的 Web Server 请 不 要 简单 理解 为 httpd 十 cgi， 它 其 实 泛 指 一 切 
客户 端 ， 其 本 身 可 能 是 个 stateful 的 服务 程序 。 
当然 ， 系 统 不 是 一 开始 就 是 这 样 的 ， 它 经 历 了 多 步 演 化 。 


1. 最 开始 的 时 候 ，Sudoku 求 解 直 接 在 Web Server 内 完成 。 后 来 为 了 提 
高 负载 能 力 ， 把 Sudoku 单 独 做 成 服务 。 一 开始 系统 规模 很 小 ， 只 有 一 个 
Sudoku Solver， 也 只 有 一 台 Web Server， 是 个 简单 的 一 对 一 (1 : 1) 的 使 
用 天 系 ， 如 图 9-17 所 示 。 


图 9-17 


2. 随后 ， 随 着 业务 量 增 加 ， 一 台 host 不 堪 重 负 ， 于 是 又 部 署 了 几 台 
Sudoku Solver， 变 成 了 一 对 多 (1 : N) 的 使 用 关系 ， 如 图 9-18 所 示 。 
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图 9-18 


3. 再 后 来 ， 一 台 Web Server 撑 不 住 了 ， 于 是 部 署 了 几 台 Web Server， 
形成 了 我 们 一 开始 看 到 的 图 9-16 中 的 多 对 多 (M : N) 的 使 用 关系 。 


在 分 布 式 系统 中 部 署 并 运行 Sudoku Solver， 需 要 考虑 以 下 几 个 问题 : 


.Sudoku Solver 如 何 部 署 到 多 台 host 上 运行 ? 是 把 可 执行 文件 拷贝 过 去 
吗 ? 程序 用 到 的 库 怎 么 办 ? 配置 文件 怎么 办 ? 

:如 何 启 动 服务 程序 Sudoku Solver? 如 果 每 个 Solver 的 配置 文件 稍 有 不 
同 (比如 每 个 Solver 有 自己 的 service name) ， 那 么 配置 文件 是 自动 生成 
吗 ? 

“Sudoku Solver 的 listening port 如 何 配置 ? 如 何 保证 它 不 与 其 他 服务 程 
序 重 复 ? 

.如 果 程 序 crash， 谁 来 重启 ? 能 否 自动 重启 ? 开发 一 运 维 人 员 能 否 及 时 
收 到 alert? 

如果 想 主动 重启 Sudoku Solver， 要 不 要 登录 到 那 台 host 上 去 kill? 还 是 
能 够 远程 控制 ? 

.如 果 要 升级 Sudoku Solver 程 序 ， 如 何 重 新 部 署 ? 如 何 (尽量 ) 做 到 不 
中 断 服务 ? 

"Web Server 如 何 知 道 那些 Sudoku Solver 的 地 址 ? 是 不 是 静态 写 到 Web 
Server 的 配置 文件 里 ? 

:如果 Sudoku Solver 所 在 的 host 发 生硬 件 故 障 ， 管 理 人 员 是 否 能 立刻 得 
知 这 一 状况 ? Web Server 能 否 自 动 failover 到 其 他 alive 的 Solver 上 ? 


部署 新 的 Sudoku Solver 之 后 ，Web Server 能 否 自 动 开 始 使 用 新 的 
Solver 而 无 须 重 启 ? (重启 Web Server 似 乎 不 是 大 问题 ， 这 里 我 们 进一步 考 
虑 client 是 个 有 状态 的 服务 ， 应 该 尽量 避免 无 谓 的 重启 。) 

.程序 可 否 安全 地 退役 ? 比方 说 公司 不 再 做 求解 Sudoku 的 业务 ， 那 么 天 
闭 全 部 Sudoku Solver 会 不 会 对 其 他 业务 造成 影响 ? 


这 些 问题 可 以 大 致 归结 为 几 个 方面 : 部 署 ( 含 升级 ) 可 执行 文件 与 配 
置 文 件 、 监 控 进程 状态 、 管 理 服 务 进 程 ， 故 障 响应 *， 这 些 合 起 来 可 称 为 
运 维 (operation) 。 

根据 公司 的 规模 和 技术 水 平 不 同 ， 分 布 式 系统 的 运 维 分 为 几 重 境 界 ， 
以 下 是 我 对 各 重 境 界 的 简要 描述 。 


9.8.1 ”境界 1: 全 手工 操作 


这 个 大 概 是 高 校 实验 室 的 水 平 ， 分 布 式 系统 的 规模 不 大 ， 可 能 十 来 台 
机 器 上 下 。 分 布 式 系统 的 实现 者 为 在 校 学生 。 

系统 完全 是 手工 搭 起 来 的 ，host 的 IP 地 址 采用 静态 配置 。 

部 署 ”编译 之 后 手工 把 可 执行 文件 拷贝 到 各 台 机 器 上 ， 或 者 放 到 公用 
的 NFS 目 录 下 。 配 置 文 件 也 手工 修改 并 拷贝 到 各 台 机 器 上 (或 者 放 到 每 个 
Sudoku Solver 自 己 单独 的 NFS 目 录 下 ) 。 

管理 ”手工 启动 进程 ， 手 工 在 命令 行 指定 配置 文件 的 路 径 。 重 启 进程 
的 时 候 需 要 登录 到 host 上 并 kill 进 程 。 

升级 ”如 果 需 要 升级 Sudoku Solver， 则 需要 手工 登录 多 台 hosts， 可 以 
拷贝 新 的 可 执行 文件 覆盖 原来 的 ， 并 重启 。 

配置 “Web Server 的 配置 文件 里 写 上 Sudoku Solver 的 ip:port。 如 果 部 
署 了 新 的 Sudoku Solver， 多 半 要 重启 Web Server 才 能 发 挥 作用 。 

监控 。” 无。 系统 不 是 真实 的 商业 应 用 ， 仅 仅 用 作 学 习 研 究 ， 发 现 哪儿 
不 对 劲 了 就 登录 到 那 台 host 上 去 看 看 ， 手 工 解决 问题 。 

这 个 级 别 可 算是 “过 家 家 ”， 系 统 时 灵 时 不 灵 ， 可 以 跑 跑 测试 ， 发 发 
papero 


9.8.2 ”境界 2: 使 用 零散 的 自动 化 脚本 和 第 三 方 组 件 


这 大 概 是 刚 起 步 的 公司 的 水 平 ， 系 统 已 经 投入 商业 应 用 。 公 司 的 开发 
重心 放 在 实现 核心 业务 、 添 加 新 功能 方面 ， 暂 时 还 顾 不 上 高 效 的 运 维 ， 或 
许 系 统 的 运 维 任务 由 开发 人 员 或 网 管 人 员 兼 任 。 公 司 已 经 有 了 基本 的 开发 
流程 ， 代 码 采 用 中 心 化 的 版 本 管理 工具 (比如 SVN) ， 有 比较 正式 的 QA 
sign-off 流 程 。 

公司 内 网 有 DNS， 可 以 把 hostname 解 析 为 也 地 址 ，host 的 也 地 址 由 
DHCP 配 置 。 公 司 内 部 的 host 的 软 硬 件 配置 比较 统一 ， 比 如 硬件 都 是 x86-64 
平台 ， 操 作 系 统统 一 使 用 Ubuntu 10.04 LTS， 每 天 机 器 上 安装 的 package 和 
第 三 方 library 也 是 完全 一 样 的 (版 本 号 也 相同 ) ， 这 样 任何 一 个 程序 在 任 
何 一 台 host 上 都 能 启动 ， 不 需要 单独 的 配置 。 

假设 各 台 host 已 经 配置 好 了 SSH authentication key 或 者 GSSAPI， 不 需 
要 手工 输入 密码 。 如 果 要 在 host1、host2、host3、host4 上 运行 md5sum 命 
令 ， 看 一 下 各 台 机 器 上 的 SudokuSolver 可 执行 文件 的 内 容 是 否 相 同 ， 可 以 
在 本 机 执行 : 


for h in host1 host2 host3 host4; 
do ssh $h md5sum /path/to/SudokuSolver/version/bin/sudokuy-solver ; 
done 


公司 的 技术 人 员 有 能 力 配 置 使 用 cron、at、logrotate、rrdtool 等 标准 的 
Linux 工 具 来 将 部 分 运 维 任务 自动 化 。 

部 署 ”可 执行 文件 必须 经 过 QA 签署 放行 才能 部 署 到 生产 环境 (如 有 
必要 ，QA 要 签署 可 执行 文件 的 md5) 。 为 了 可 靠 性 ， 可 能 不 会 把 可 执行 文 
件 放 到 NFS 上 〈 如 果 NFS 发 生 故 障 ， 整 个 系统 就 瘫痪 了 ) 。 有 可 能 采用 
rsync 把 可 执行 文件 拷贝 到 本 机 目录 (考虑 到 可 执行 文件 比较 大 ， 估 计 不 适 
合 直接 放 到 版 本 管理 库 里 ) ， 并 且 用 md5sum 检 查 拷 贝 之 后 的 文件 是 否 后 
源 文 件 相同 。 部 署 可 执行 文件 这 一 步骤 应 该 可 以 用 脚本 自动 执行 2。 为 了 
让 C++ 可 执行 文件 拷贝 到 host 上 就 能 用 ， 通 常 采 用 静态 链接 ， 以 避免 .so 版 
本 不 同 造成 故障 。 

Sudoku Solver 的 配置 文件 会 放 到 版 本 管理 工具 里 ， 每 个 Solver instance 
可 能 有 自己 的 branch， 每 次 修改 都 必须 入 库 。 程 序 启动 的 时 候 用 的 配置 文 
件 必 须 从 SVN 里 check-out， 不 能 手工 修改 《减少 人 为 错误 ) 。 


管理 ”第 一 次 启动 进程 的 时 候 ， 会 从 SVN check-out 配 置 文件 ; 以 后 
重启 进程 的 时 候 可 以 从 本 地 working copy 读 取 配 置 文件 (以 避免 SVN 服 务 
器 故障 对 系统 造成 影响 ) ， 只 在 改过 配置 文件 之 后 才 要 求 svn update。 服 务 
进程 使 用 daemon 方 式 管理 (ysbin/init 或 upright 工 具 ) ，crash 之 后 会 立刻 自 
动 重启 (利用 respawn 功 能 ) 。 服 务 进 程 一 般 会 随 host 启 动 而 启动 〈 放 到 
/etc/init.d 里 ) ， 如 果 要 重启 hostA 上 的 服务 进程 ， 可 以 通过 SSH 远 程 操作 2 
。 进程 管理 是 分 散 的， 每 人 台 host 运 行 哪些 service 完 全 由 本 机 的 /etc/init.d 目 
录 决 定 。 把 一 个 service 从 一 台 host 迁 移 到 另 一 台 host， 需 要 登录 到 这 两 台 
host 上 去 做 一 些 手 工 配 置 。 

升级 ”可 执行 文件 也 有 一 套 版 本 管理 (不 一 定 通过 SVN) ， 发 布 新 版 
本 的 时 候 严 禁 覆 盖 已 有 的 可 执行 文件 。 比 方 说 ， 现 在 运行 的 是 


/path/to/SudokuSolver/1.8.0/bin/sudoku-solver 


那么 新 版 本 的 Sudoku Solver 会 发 布 到 


/path/to/SudokuSolver/1.1.0/bin/sudoku-solver 


这 么 做 的 原因 是 ， 对 于 C++ 服 务 程序 ， 如 果 在 程序 运行 的 时 候 覆 盖 了 
原 有 的 可 执行 文件 ， 那 么 可 能 会 在 一 段 时 间 之 后 出 现 bus error， 和 程序 因 
SIGBUS 而 crash。 另 外 ， 如 果 程 序 发 生 core dump， 那 么 验尸 (post 
mortem) 的 时 候 必 须 用 “产生 core dump 的 可 执行 文件 ”配合 core 文 件 。 如 果 
覆盖 了 原来 的 可 执行 文件 ，post mortem 将 无 法 进行 。 

配置 ”Web Server 的 配置 文件 里 写 上 Sudoku Solver 的 host:port ( 比 境 
界 1 有 所 提高 ， 这 里 依赖 DNS， 通 常 DNS 有 一 主 一 备 ， 可 靠 性 足够 高 ) 。 
不 过 Web Server 的 配置 文件 和 Sudoku Solver 的 配置 文件 是 独立 的 ， 如 果 新 
增 了 Sudoku Solver 或 者 迁移 了 host， 除 了 修改 Sudoku Solver 的 配置 文件 
外 ， 还 要 修改 所 有 用 到 它 的 Web Server 的 配置 文件 。 这 在 系统 规模 比较 小 
的 时 候 尚 且 可 行 ， 系 统 规模 一 大 ， 这 种 服务 之 间 的 依赖 关系 会 变 得 隐 星 。 
如 果 关 闭 了 某 个 服务 程序 ， 就 可 能 一 不 小 心 造成 其 他 组 的 某 个 服务 失灵 。 
如 备 宕 在 《通过 一 个 真实 故事 理解 SOA 监 管 》= 举 的 那个 例子 一 样 。 

监控 ”公司 会 使 用 一 些 开源 的 监控 工具 (以 下 以 Monit 为 例 ) 来 监控 
每 台 host 的 资源 使 用 情况 (内存 、CPU、 磁 盘 空 间 、 网 络 带 宽 等 等 ) 。 必 
要 的 话 可 以 写 一 些 插件 ， 使 之 能 监控 我 们 自己 写 的 服务 程序 (Sudoku 


Solver) 。 但 是 这 些 监控 工具 通常 只 是 观察 者 ， 它 们 与 进程 管理 工具 是 独 
立 的 ， 只 能 看 ， 不 能 动 。 这 些 监控 工具 有 自己 的 配置 文件 ， 这 些 配置 需要 
与 Sudoku Solver 的 配置 同步 修改 。Monit 可 以 管理 进程 ， 但 是 它 判断 服务 进 
程 是 否 能 正常 工作 是 通过 定时 轮 询 进 行 的 ， 不 一 定 能 立刻 ( 几 秒 之 内 ) 发 
现 问题 。 

在 这 个 境界 ， 分 布 式 系统 已 经 基本 可 用 了 ， 但 也 有 一 些 隐患 。 


配置 零散 


每 个 服务 程序 有 自己 独立 的 配置 ， 但 是 整个 系统 没有 全 局 的 部 署 配置 
文件 (比方 说 哪个 服务 程序 应 该 运行 在 哪些 hosts 上 ) 。 

服务 程序 的 配置 文件 和 用 到 此 服务 的 客户 端 程序 的 配置 是 独立 的 ， 如 
果 把 Sudoku Solver 迁 移 到 另 一 台 host， 那 么 不 仅 要 修改 Sudoku Solver 的 配 
置 ， 还 要 修改 用 到 Sudoku Solver 的 Web Server 的 配置 ， 以 及 监控 Sudoku 
Solver 的 Monit 的 配置 。 如 果 忘 记 修改 其 中 的 一 处 ， 就 会 造成 系统 故障 。 

分 布 式 系统 中 服务 程序 的 依赖 关系 是 个 令 人 头疼 的 问题 ，“ 依 赖 * 还 好 
办 (程序 的 作者 知道 自己 这 个 服务 程序 会 依赖 哪些 其 他 服务 ) ，“ 被 依赖 ” 
则 比较 环 手 (如 何 才 能 知道 停 掉 自己 这 个 程序 会 不 会 让 公司 其 他 系统 骨 
溃 ? ) 。 这 也 从 一 个 侧面 证 明 使 用 TCP 协 议 作为 唯一 的 IPC 手 段 的 必要 
性 。 如 果 采 用 TCP 通 信 ， 为 了 查 出 有 哪些 程序 用 到 了 我 的 Sudoku Solver 

(假设 listening port 是 9981) ， 那 么 我 只 要 运行 netstat-tpn |grep 9981 就 能 找 

到 现在 的 客户 ; 或 者 让 Sudoku Solver 自 己 打印 accept(2) log， 连 续 检查 一 周 
或 者 一 个 月 就 能 知道 有 哪些 程序 用 到 了 Sudoku Solvero 


进程 管理 分 散 


如 果 hostA 发 生硬 件 故 障 ， 如 何 能 快速 地 用 一 台 备 用 服务 器 人 硬件 顶替 
它 ? 能 否 先 把 它 上 面 原来 运行 的 Sudoku Solver 迁 移 到 空 闪 的 hostB 上 ， 然 后 
通知 Web Server 用 hostB 上 的 Sudoku Solver? “通知 Web Server” 这 一 步 要 不 
要 重启 Web Server? 


9.8.3 ”境界 3: 自制 机 群 管理 系统 ， 集 中 化 配置 


可 能 是 比较 成 熟 的 大 公司 的 水 平 。 

ee 管理 已 经 不 能 满足 业务 灵活 性 方面 的 需求 ， 公 
司 开 始 整 合 现 有 的 运 维 工 具 ， 开 发 一 套 自己 的 机 群 管理 软件 。 我 还 没有 找 
到 一 个 开源 的 符合 我 的 要 求 的 机 群 管理 软件 ， 以 下 虚构 一 套 名 为 Zurgs 
(名 字 取 自 科 幻 电影 《第 五 元 素 》， 拼 写 稍 有 不 同 ; Zurg 也 是 《玩具 总 动 
员 》 中 的 一 个 角色 。) 的 分 布 式 系统 管理 软件 :。 

Zurg 的 架构 很 简单 ， 典 型 的 MasterSlave 结 构 ， 见 83.5.3 中 对 “管理 
Linux 服 务 器 机 群 ”的 描述 〈 见 图 9-19) 。 图 9-19 中 矩 形 为 服务 器 ， 圆 角 矩 
形 为 进程 ， 实 线 箭 头 表示 TCP 连 接 ， 虚 线 表 示 进 程 的 父子 关系 。 
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图 9-19 
在 《分 布 式 系统 的 工程 化 开发 方法 》= 中 谈 到 了 Zurg 的 功能 需求 : 
:典型 的 Master/Slave/Client 结 构 。 


馆 


一 个 Master 进 程 ， 兼 做 name service。 可 用 冷 热 备份 ， 或 者 用 consensus 
Zo 


点 状态 同步 。 如 果 Master 意 外 重启 ， 全 部 Slave 都 会 自动 重 连 。 
:每 个 节点 运行 一 个 Slave 进 程 。 定 期 向 Master 汇 报 该 节点 的 资源 使 用 
by2e0 


率 ， 控 制 其 他 服务 进程 的 启 停 ， 捕 获 SIGCHLD 信 号 ， 及 时 知道 服务 进程 
(图 9-19 中 的 App) 意外 退出 。* 


到 了 这 一 境界 ， 日 常 的 管理 运 维 工作 已 经 不 再 需要 反复 执行 sh， 常 见 
任务 都 可 以 通过 Zurg 来 完成 。 

部 署 ”只 需要 向 Master 发 一 条 指令 ，Master 会 命令 Slaves 从 指定 的 地 
点 rsync 新 的 可 执行 文件 到 本 地 目录 。 

进程 管理 与 监控 ”Zurg 的 主要 功能 就 是 进程 管理 和 监控 ， 比 起 一 般 的 
开 产 工具 ，Zurg 更 具备 一 些 优势 。 由 于 Sudoku Solver 是 由 Zurg Slave fork(2) 
而 得 的 ， 那 么 当 Sudoku Solver crash 的 时 候 ，Zurg Slave 会 立刻 收 到 
SIGCHLD， 从 而 能 立刻 向 管理 员 报 告状 态 并 重启 。 这 比 Monit 的 轮 询 要 迅 
速 得 多 。= 

为 了 安全 起 见 ，Zurg Slave 在 启动 可 执行 文件 的 时 候 可 以 验证 其 md5， 
这 样 避免 错误 版 本 的 服务 程序 运行 在 生产 环境 。 

Zurg Master 可 以 提供 一 个 web 页 面 以 供 查看 本 机 群 内 各 个 服务 程序 是 
否 正常 运行 ， 并 且 提 供 一 个 接口 〈 可 以 是 HITP) 让 我 们 能 编写 脚本 来 控 
制 Zurg Master。 

升级 ”如 果 要 主动 重启 Sudoku Solver， 可 以 向 Zurg Master 发 出 指令 ， 
不 需要 用 ssh & kill。Zurg 会 保存 每 台 host 上 服务 进程 的 启动 记录 ， 以 便 事 
后 分 析 。 如 果 用 境界 2 中 的 手动 /etc/init.d 管理 方式 ， 需 要 到 每 台 机 器 上 收 
集 log 才 知道 Sudoku Solver 什 么 时 候 重 启 过 。 

另外 也 可 以 单独 开发 GUI 程序 ， 运 行 在 运 维 人 员 的 桌面 上 上， 重启 多 人 台 
host 上 的 Sudoku Solver 只 需要 轻 点 几 下 鼠标 。 

配置 ”零散 的 配置 文件 被 集中 的 Zurg 配 置 文件 取代 。 

Zurg 配 置 文件 会 制定 哪些 service 会 在 哪些 host 上 运行 ，Zurg Master 读 取 
配置 文件 ， 然 后 命令 各 个 Zurg Slave 启 动 相 应 的 服务 程序 。 上 比方 说 配置 文 
件 指定 Sudoku Solver 运 行 在 host1、host2、host3 上 ， 那 么 Zurg 会 通知 在 
host1、host2、host3 上 的 Zurg Slave 启 动 Sudoku Solver。 (当然 ， 每 人 台 host 
上 的 Zurg Slave 需 要 由 /etc/init.d 启动 ， 其 他 的 服务 程序 都 由 它 负 责 启 
动 。) 

更 重要 的 是 ， 服 务 程序 之 间 的 依赖 关系 在 Zurg 配 置 文件 里 直接 体现 出 
来 。 比 方 说 ， 在 Zurg 配 置 文件 里 指明 Web Server 依 赖 Sudoku Solver，Web 
Server 的 配置 文件 由 Zurg Master 生 成 〈 可 能 会 用 到 模板 引擎 ， 读 入 一 个 Web 
Server 的 配置 模板 ) ， 其 中 出 现 的 Sudoku Solver 的 host:port 由 Zurg Master 自 


动 填 上 ， 这 样 如 果 把 Sudoku Solver 从 hostA 渤 移 到 hostB， 只 需要 改 一 处 地 
方 (Zurg 的 配置 ) ， 而 Sudoku Solver 和 Web Solver 的 配置 都 由 Zurg Master 
自动 生成 。 这 样 大 大 降低 了 犯错 误 的 机 会 。 

到 了 这 一 境界 ， 分 布 式 系统 的 日 常 管理 已 经 基本 成 熟 ， 但 在 容错 与 负 
载 均衡 方面 有 较 大 的 提升 空间 。 

目前 最 大 的 障碍 是 DNS， 它 限制 了 快速 failover。 比 方 说 ， 如 果 hostA 
发 生硬 件 故障 ，Zurg Master 固 然 可 以 在 hostB 上 立刻 启动 Sudoku Solver， 但 
是 如 何 通知 Web Server 到 hostB 上 享用 服务 呢 ? 修改 DNS entry 的 话 (把 
hostA 的 域名 解析 到 hostB 的 IP) ， 可 能 要 好 几 分 钟 才能 完成 更 新 ， 因 为 
DNS 没有 推送 机 制 。 

如 果 思 路 受 限 制 于 host:port， 那 么 会 采取 一 些 看 似 高 级 ， 实 则 笨拙 的 
高 可 用 (high availability) 解决 方案 。 比 方 说 在 内 核 里 做 做 手脚 ， 设 法 让 
两 台 机 器 共享 同一 个 了 P， 然 后 通过 专门 的 心跳 连 线 来 控制 哪 台 host 对 外 提 
供 服 务 ， 哪 台 是 备用 机 。 如 果 那 台 * 主 机 ”发 生 故 障 ， 则 可 以 快速 ( 几 秒 
切换 到 备用 机 ， 因 为 hostname 和 了 IP 地 址 是 相同 的 ， 客 户 端 不 用 重新 配置 或 
重启 ， 只 要 重新 连接 TCP 就 能 完成 failover。 如 果 在 错误 的 道路 上 走 得 更 远 
一 点 ， 可 能 还 会 设法 把 TCP 连 接 一 同 迁 移 到 备用 机 ， 这 样 客户 端 甚至 不 需 
要 断 开 并 重 连 。 


Load balance 也 受 限 于 DNS 


如 果 发 现 现 有 的 4 个 Sudoku Solver 不 堪 重 负 ， 又 部 署 了 4 台 Sudoku 
Solver， 如 何 通 知 各 个 Web Server 把 新 的 Sudoku Solver 加 到 连接 池 里 ? 

有 一 些 ad hoc 的 手段 ， 比 方 说 每 个 Web Server 有 一 个 管理 接口 ， 可 以 通 
过 这 个 接口 向 它 动态 地 增 减 Sudoku Solver 的 地 址 。 借 助 这 个 管理 接口 ， 我 
们 也 可 以 做 一 些 计划 中 的 联机 迁移 。 比 方 说 要 主动 把 某 个 Sudoku Solver 从 
hostA 迁 移 到 hostB ， 我 们 可 以 先 在 hostB 上 启动 Sudoku Solver， 然 后 通过 
Web Server 的 管理 接口 把 hostB:9981 添 加 到 Web Server 的 连接 池 中 ， 再 把 
hostA:9981 从 连接 池 中 删 掉 ， 最 后 停 掉 hostA 上 的 Sudoku Solver。 这 对 计划 
中 的 Sudoku Solver 升 级 是 可 行 的 ， 能 做 到 避免 中 断 Web Server 服 务 。 对 于 
failover， 这 种 做 法 似乎 稍 显 不 够 方便 ， 因 为 要 让 Zurg Master 理 解 Web 
Server 的 管理 接口 ， 会 给 系统 带 来 循环 依赖 。 (正常 情况 下 ，Zurg Master 


不 应 该 知道 或 访问 它 管 理 的 服务 程序 的 接口 细节 ， 这 样 Sudoku Solver 升 级 
的 时 候 就 不 用 升级 Zurg Master。 ) 

这 种 做 法 要 求 Web Server 在 开发 的 时 候 留 下 适当 的 维修 探查 通道 ， 见 
89.5 的 推荐 做 法 。 

另外 一 种 ad hoc 的 手段 ， 每 个 Sudoku Solver 在 启动 的 时 候 自己 主动 往 
某 个 数据 库 表 里 insert 或 update 本 程序 的 host:port。 WebServer 的 配置 里 写 的 
不 是 host:port， 而 是 一 条 SELECT 语句 ， 用 于 找 出 它 依赖 的 Sudoku Solver 的 
host:port。 Web Server 还 可 以 通过 数据 库 触 发 器 来 及 时 获知 Sudoku Solver 
address list 的 变化 。 这 样 增 加 或 减少 Sudoku Server 的 话 ，Web Server 几 乎 可 
以 立刻 应 对 ， 也 不 需要 通过 管理 接口 来 手工 增 减 Sudoku Solver 地 址 。 数 据 
库 在 这 里 扮演 了 naming service 的 角色 ， 它 的 可 用 性 直接 影响 了 整个 系统 的 
可 用 性 。 

境界 3 是 黎明 前 的 黑暗 ， 只 要 统一 引入 naming service， 抛 开 DNS， 容 
错 和 负载 均衡 的 问题 便 迎 刃 而 解 。 


9.8.4 ”境界 4: 机 群 管理 与 haming service 结 合 


这 是 业内 领先 的 公司 的 水 平 。 

前 面 分 析 到 ， 使 用 Zurg 机 群 管理 软件 能 大 大 简化 分 布 式 系统 的 日 常 运 
维 ， 但 是 它 也 有 很 大 的 缺陷 一 一 不 能 实现 快速 failover。 如 果 系 统 规模 大 到 
一 定 程度 ， 机 器 出 故障 的 频率 会 显著 增加 ， 这 时 候 自 动 化 的 快速 failover 是 
必 备 的 ， 否 则 运 维 人 员 就 会 疲于奔命 地 “救火 ”。 

实现 简单 而 快速 的 failover 不 需要 特殊 的 编程 技巧 ， 也 不 需要 对 kernel 
动手 脚 ， 只 要 抛弃 传统 的 DNS 观念 ， 摆 脱 host:port 的 束缚 ， 采 用 为 分 布 式 
系统 特制 的 naming service 代 替 DNS 即 可 。 

naming service 是 实现 快速 failover 的 必 备 条 件 。Host A 上 的 服务 5S1 朋 演 
了 ，failover 到 Host B 上 ， 如 何 把 新 的 地 址 (或 端口 号 ) 通知 给 S1 的 使 用 
者 ? 为 什么 DNS 不 适合 ? DNS 设 计 作为 静态 或 缓慢 变化 的 域名 解析 ，DNS 
客户 端 与 DNS 服务 器 之 间 采 用 超时 轮 询 而 不 是 主动 通知 ， 不 适合 快速 
failover。DNS 也 不 能 解析 端口 号 s。 解 决 办 法 : 实现 自己 的 名 字 服 务 ， 并 
在 程序 的 配置 中 使 用 service_name 而 不 是 host:port。 例 子 : Chubby、 
ZooKeeper、 Eureka (http://techblog.netflix.com/2012/09/eureka.html ) 。 


naming service 的 功能 是 把 一 个 service_name 解 析 成 list of ip:port。 比方 
说 ， 查 询 "sudoku_solver"， 返 回 host1:9981、host2:9981、host3:9981。 

naming service 与 DNS 最 大 的 不 同 在 于 它 能 把 新 的 地 址 信息 推送 给 客户 
端 。 比 方 说 ，Web Server 订 阅 了 "sudoku_solver"， 每 当 Sudoku_solver 发 生变 
化 ，Web Server 就 会 立刻 收 到 更 新 。Web Server 不 需要 轮 询 ， 而 是 等 候 通 
知 。 


naming service 谁 负责 更 新 


在 境界 2 中 ，Sudoku Solver 会 自己 主动 去 naming server 注 册 。 到 了 境界 
3， 由 于 Sudoku Solver 是 由 Zurg 负 责 启 动 的 ， 那 么 Zurg 知 道 Sudoku Solver 运 
行 在 哪些 hosts 上 ， 它 会 主动 更 新 naming service， 不 需要 Sudoku Solver 自 己 
动手 。 


naming service 的 可 用 性 (availability) 和 一 致 性 如 何 保证 


上 毫 无 疑问 ， 一 旦 采用 这 种 方案 ，naming service 是 系统 正常 运转 的 关 
键 ， 它 的 可 用 性 决定 了 系统 的 可 用 性 。naming service 绝 对 不 能 只 run 在 一 
台 服 务 器 上 ， 为 了 可 靠 性 ， 应 该 用 一 组 (通常 是 5 台 ) 服务 器 同时 提供 服 
务 。 当 然 ， 这 需要 解决 一 致 性 问题 。 目 前 实现 高 可 用 naming service 的 公认 
办 法 是 Paxos 算 法 ， 也 有 了 一 些 开 源 的 实现 (ZooKeeper、KeySpace、 
Doozer) 。 


对 程序 设计 的 影响 


如 果 公 司 的 网 络 库 在 设计 的 时 候 就 考虑 了 naming service， 那 么 对 程序 
设计 来 说 是 透明 的 。 配 置 文件 里 写 的 不 再 是 host:port， 而 是 service_name， 
交 给 网 络 库 去 解析 成 ip:port 地 址 列表 。 


为 什么 muduo 网 络 库 没有 封装 DNS 解析 


一 方面 因为 gethostbyname() 和 getaddrinfo0O) 解 析 DNS 是 阻塞 的 (除非 用 
UDNS 之 类 的 异步 DNS 库 ) ; 另 一 方面 ， 因 为 在 大 规模 分 布 式 系 统 中 DNS 


的 作用 不 大 ， 我 宁愿 花 时 间 实 现 一 个 haming service， 并 且 为 它 编写 name 
resolve libraryo 

在 境界 3 中 ， 每 个 项 目 组 有 自己 的 hosts， 只 运行 本 项 目 中 的 服务 程 
序 ， 每 个 服务 程序 的 TCP 端 口 可 以 静态 分 配 (比如 Sudoku Solver 固 定 使 用 
9981 端 口 ) ， 不 担心 端口 冲突 。 如 果 公 司 规模 继续 扩大 ， 述 早 会 把 16-bit 
的 port 命 名 空间 用 完 ， 这 时 候 给 新 项 目 分 配 端口 号 将 成 为 问题 。 

到 了 境界 4， 这 一 限制 将 被 打破 ， 服 务 程序 可 以 run 在 公司 内 任何 一 台 
host 上 ， 也 不 用 担心 端口 冲突 ， 因 为 Zurg 会 选择 当前 host 的 空 闪 端口 来 启动 
Sudoku Solver， 并 且 把 选中 的 端口 保存 在 naming service 中 。 这 样 一 来 ， 
TCP port 也 实现 了 动态 配置 ，Web Server 完 全 能 自动 适应 run 在 不 同 port 的 
Sudoku Solvero 


少 
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http://dl.acm.org/citation.cfm?id=1402967 
http://www.scs.stanford.edu/11au-cs144/notes/l17.pdf 
http://www.snookles.com/slf-blog/2012/01/05/tcp-incast-what-is-it/ 
http://www.pdl.cmu.edu/Incast/ 


这 是 非常 业余 的 估算 ， 只 考虑 了 机 器 本 身 ， 没 有 考虑 网 络 设 备 、 制 冷 等 方面 : 进一步 的 内 
义 参 考 Google 工 程 师 写 的 《The Datacenter as a Computer》[DCC]。 
注意 这 不 是 员工 的 税 前 工资 ， 它 包括 了 公司 的 其 他 用 人 成 本 ， 如 场地 租金 、 办 公设 施 、 五 
他 一 金 等 。 
本 书 不 涉及 存储 ， 也 就 不 仔细 区 分 SSD、SAS、SATA 的 不 同 。 
零售 价 是 5000 元 ， 这 里 是 我 估计 的 批发 价 。 
http:/newscnetcom/8301-1001 3-10209580-92.html 
http://www.datacenterknowledge.com/archives/2012/06/27/video-facebook-compute-unit/ 

包括 CORBA、DCOM、RMI、EJB、.NET Remoting 等 等 。 
http://code.google.com/edu/parallel/dsd-tutorial.html 

《Fallacies of Distributed Computing Explained》 ( 
http://www.rgoarchitects.com/Files/fallacies.pdf ) 

14 ”别人 分 享 的 经 验 也 不 一 定 完 全 可 信 ， 因 为 他 可 能 分 享 的 是 一 个 阶段 性 成 果 。 他 告诉 了 你 
故事 的 开头 ， 不 一 定 也 告诉 你 故事 的 结局 。 参 见 Amazon 的 Dynamo 存 储 架 构 和 采用 这 一 思想 的 
Cassandra 项 目的 兴衰 。 

15 “分 布 式 锁 、 选 举 等 ， 匈 httpW/en.wikipedia.org/wiki/Distributed algorithm 。 

16 “如 果 要 考察 C++ 程序 员 ， 虚 析 构 是 必 问 的 ; 如 果 要 考察 C# 程 序 员 ，value type 与 reference 
type 是 必 问 的 ;如 果 要 考察 多 线程 程序 员 ， 死 锁 与 race condition 是 必 问 的 。 考 察 分 布 式 程序 员 呢 ? 

17 ”而 且 只 使 用 最 基本 的 read/write 数 据 流 ， 不 使 用 out-of-band， 也 不 使 用 SCTP 等 不 同 寻 常 的 
协议 。 

18 “对 任何 宣称 “ 像 开 发 单机 程序 一 样 写 分 布 式 应 用 ”的 广告 语 保持 警惕 ， 分 布 式 系统 有 其 本 质 
困难 。 
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19 “ 备 岩 的 《技术 路 线 的 选择 重要 但 不 具有 决定 性 》 ( 
http://blog.csdn.net/myan/article/details/3247071) 。 

20 http:Wlabs.oracle.com/techrep/1994/smli tr-94-29.pdf : 这 篇 文章 同时 指出 延迟 和 内 存 访问 也 是 
重要 区 别 。 

21 现在 的 CPU 往往 内 置 了 内 存 控制 器 ， 不 通过 总 线 直 接 访问 内 存 ， 但 不 影响 此 处 的 讨论 。 

22 《A Note on Distributed Computing》 中 说 道 :“[T]here is no common agent that is able to 
determine what component has failed and inform the other components of that failure, no global state that 
can be examined that allows determination of exactly whaterror has occurred. In a distributed system, the 
failure of a network link is indistinguishable from the failure of a processor on the other side of that link.” 

23 Ken Amold 说 道 : “Now this is not a question you ask in local programming. You invoke a 
method and an object. You don't ask,“Did it get there?”The question doesn't make any sense. But it is the 
question of distributed computing.” (http://www.artima.com/intv/distrib.html ) 。 

24 ”类 似 电路 理论 里 的 集 总 参数 电路 和 分 布 参 数 电路 ， 前 者 适用 基 尔 霍 夫 定 律 ， 后 者 适用 传 
输 线 理论 。 

25 《Introduction to Distributed System Design》 中 讲 : “We are forced to deal with uncertainty. A 
process knows its own state, and it knows what state other processes were in recently. But the processes 
have no way of knowing each other's current state. They lack the equivalent of shared memory. They also 
lack accurate ways to detect failure, or to distinguish a local software/hardware failure from a 
communication failure.” (http://code.google.com/edu/parallel/dsd-tutorial.html ) 。 

26 《代码 大 全 《第 2 版 ) 》[CC2e] 第 5.1 节 : 只 有 通过 解决 或 部 分 解决 才能 被 明确 定义 的 问 
题 。 

这 是 一 个 重 采 样 (resampling) 过 程 ， 为 了 保证 质量 ， 用 的 是 双 三 次 (bicubic) 插值 算 


己 
说 


法 。 
28 http://research.microsoft.com/en-us/um/people/lamport/pubs/time-clocks.pdf 
29 http://www.stanford.edu/class/ee380/Abstracts/091111-RethinkingTime.pdf 
30 http://enwikipedia.org/Wwiki/Systematic error 


31 http://enwikipedia.org/Wwiki/Reliability engineering 
http://en.wikipedia.org/Wiki/Mean time_between failures 


32 ”tMTBEF 是 用 来 估算 机 房 需要 准备 多 少 块 备用 硬盘 的 ， 而 不 是 预测 下 一 次 出 现 硬盘 损坏 是 
在 什么 时 候 。 

33 ”也 可 以 保守 地 估算 为 平均 每 100 小 时 会 坏 掉 一 块 。 

34 《Disk failures in the real world: What does an MTTF of 1,000,000 hours mean to you?》 


http:/www<cscmu.edu/~bianca/fast07pdf 
http://storagemojo.com/2007/02/20/everything-you-know-about-disks-is-wrong/ 


35 《Failure Trends in a Large Disk Drive Population》 
http://research.google.com/archive/disk failures.pdf 
http://storagemo]jo. com/7007/02/T9/googles- disk-failure-experience/ 


36 《Empirical Measurements of Disk Failure Rates and Error Rates》 


http://research.microsoft.com/pubs/64599/tr-2005-166.pdf 

37 ”因为 24x100x42 二 108000 小 时 。 这 里 也 可 以 估算 为 83 天 ， 无 妨 。 

38 ”注意 这 里 仅仅 考虑 了 硬盘 本 身 故 障 的 因素 ， 目 的 是 举例 说 明 tMTPF 的 意义 ， 不 是 严肃 的 
可 靠 性 估计 。 

39 http://enwikipedia.org/Wwiki/Binomial_ distribution 


40 《Why Do Computers Stop and What Can Be Done About It?》 
http://www.hpl.hp.com/techreports/tandem/TR-85.7.pdf 
41 《Understanding latent sector errors and how to protect against them》 


http: //www.cstoronto.edu/~bianca/fast10. pdf 
http://storagemojo.com/2010/03/05/storagemojos-best-paper-of-fast-10/ 


42 ”这 大 大 影响 了 RAID5 的 可 用 性 ( 
http://wwwzdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162 ) 。 

43 《DRAM errors in the wild: A Large-Scale Field Study》 ( 
http://www.cs.toronto.edu/~bianca/papers/sigmetrics09.pdf ) 。 

44 ” 某 款 Intel 服 务 器 主板 的 tywTBF 在 10 万 至 20 万 小 时 之 间 ， 与 环境 温度 相关 。 

http://download.intel.com/support/motherboards/server/s5520hc/sb/e39529013 s5520hc s5500hcv s5520hct tps rl 9.pdf 

45 ”每 条 ECC 内 存 条 每 年 出 现 不 可 恢复 的 错误 的 概率 是 0.22%， 见 脚注 43。ECC 内 存 能 纠正 单 
bit 错 误 ， 检 测 双 bit 错 误 ， 即 SECDED。 如 果 出 现 多 bit 同 时 翻转 ，ECC 无 能 为 力 。 

46 ”有 报告 称 某 x86 服 务 器 的 tTBF 是 5 万 小 时 。 

http://www.dell.com/content/topics/global.aspx/power/en/ps3902 shetty 

47 ”高 端 IBM System z 的 tMTBE 是 35 万 小 时 ( 
http://www.cs.toronto.edu/~bianca/papers/sigmetrics09.pdf ) ， 普 通 PC 台式 机 的 tMTBPF 是 3 万 小 时 ， 那 么 
PC 服务 器 的 {MTPF 按 5~10 万 小 时 估算 似乎 是 合理 的 。 

48 http://enwikipedia.org/Wwiki/Soft error, http://people.rit.edu/lffeee/lec reli.pdf 第 23 页 。 

49 ” 据 我 所 知 ， 在 金融 领域 ， 证 券 行业 的 服务 程序 必要 的 话 可 以 每 天 重启 ， 因 为 收市 之 后 无 
交易 ;外 汇 交 易 的 服务 器 可 以 每 周 重启 ， 因 为 周末 无 交易 。 

50 ”在 运行 期 热 蔡 换 DLL 通 常 是 走火 入 魔 的 标志 ; 真 的 需要 在 运行 时 替换 程序 逻辑 的 话 ， 可 
以 用 许 入 脚本 语言 ， 把 代码 转换 为 数据 。 例 如 89.7 介 绍 的 用 Groovy 编 写 测试 逻辑 。 

51 西 谱 有 云 :“Wait until you have a problem before you look for a solution.” 

52 ” 指 非 内 存 数据 库 、memcached 之 类 的 以 内 存 为 主要 资源 的 程序 。 

53 ”对 于 32-bit 程 序 ， 在 进程 内 存 使 用 超过 2GB 时 ; 对 于 64-bit 程 序 ， 当 空闲 物理 内 存 少 于 20% 


C++ new_handler 在 多 线程 中 的 作用 非常 有 限 。 

仅 考 虑 写 诊断 日 志 这 一 种 用 途 。 分 布 式 存 储 系统 自然 要 设法 应 对 磁盘 写 满 的 这 一 情况 。 
在 磁盘 空间 使 用 量 达到 80%、90%、95%、99% 时 以 不 同 级 别 报 警 。 
http://research.google.com/archive/gfs-sosp2003.pdf 


http://blog.zhuzhaoyuan.com/2009/09/nginx-internals-slides-video/ ，PPT 最 后 3 页 。 
59 http://www.drdobbs.com/a-conversation-with-glenn-reeves/184411097 
http://research.microsoft.com/en-us/um/people/mbj/mars_pathfinder/ 


60 ”心跳 消息 就 像 看 门 狗 (watch dog) 电路 ， 只 有 不 断 地 喜 狗 才能 防止 电路 复位 (reset) 。 

61 “我 曾经 见 过 x86 服 务 器 上 的 集成 显卡 的 驱动 有 bug， 偶 尔 导致 机 器 的 时 间 发 生 跳 变 (这 跟 
当时 Linux 内 核 的 时 钟 管理 机 制 有 关 ) ， 造 成 某 台 机 器 的 时 间 大 大 超前 于 其 他 机 器 ( 几 秒 ) ， 这 台 
机 器 上 的 进程 会 认为 它 收 到 的 心跳 都 是 失效 的 。 这 时 可 以 用 ntpdate(1) 命 令 强 制 同步 时 间 ， 即 可 立刻 
修复 故障 。 

62 http://googleblog.blogspot.hk/2011/09/time-technology-and-leaping-seconds.html 

63 ”如 果 要 考虑 multihome， 把 文中 的 IP 换 为 hosmame 妈 可， 结论 一 样 成 立 。 

64 ”port 是 这 个 进程 对 外 提供 网 络 服务 的 端口 号 ， 一 般 就 是 它 的 TCP listening porte 

65 /proc/sys/kernel/pid_max 

66 http://blog.csdn.net/Solstice/article/details/5950190 

67 “能 观 性 (Observability) * 和 “能 控 性 (Controllability) ”是 自动 控制 领域 的 术语 ， 此 处 “能 
观 性 ”是 指 能 获知 进程 的 一 切 状态 ,“ 能 控 性 ”是 指 能 让 进程 达到 我 们 想 要 的 任何 状态 。 

68 ” 见 Jeff Dean 演 讲 中 的 “Add Sufficient Monitoring/Status/Debugging Hooks” 一 节 ， 

http://www.cs.cornell.edu/projects/ladis2009/talks/dean-keynote-ladis2009.pdf 。 

69 hostname:50075 


70 
等 。 
到 


就 算是 C/C++ 也 要 考虑 32-bit 或 64-bit 平 台 、endian、 编 译 器 对 齐 (alignment) 的 影响 等 


结构 化 的 意思 是 说 一 个 消息 可 以 使 用 其 他 自 定 义 消 息 类 型 为 成 员 ， 也 可 以 包含 数组 ， 数 


组 的 元 素 可 以 是 其 他 自 定义 消息 类 


72 


Protobuf 二 进 制 格式 中 的 整数 采用 变 长 编码 ， 可 以 节约 带宽 ， 降 低 延 迟 〈 


https://developers.google.com/protocol-buffers/docs/encoding ) 。 


23 


https://developers.google.com/protocol-buffers/docs/proto#updating 
http://www.zeroc.com 
http://blog.csdn.net/solstice/article/details/5814486 
http://www.cnblogs.com/Solstice/archive/2011/04/22/2024791.html 
http://blog.csdn.net/Solstice/article/details/6324749 
http://blog.codingnow.com/2007/02/user_authenticate.html 


本 //blog.codingnow.com/2006/04/iocp_kqueue_epoll.html 
http://blog.codingnow.com/2010/11/go_prime.html 


23 
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87 
比方 说 ， 


http://www.ukuug.org/events/spring2007/programme/ThatCouldntHappenloUs.pdf 

比方 说 ssh $host rsync /path/to/source/on/nfs /path/to/local/copy/。 

比如 在 本 机 运行 ssh hostA /etc/init.d/sudoku-solver restarto 
http://blog.csdn.net/myan/archive/2007/08/09/1734343.aspx 
http://enwikipedia.org/Wiki/Google_platform#Software 

Slave 的 实现 代码 见 http://github.com/chenshuo/muduo-protorpc 附带 的 例子 。 
http://blog.csdn.net/Solstice/article/details/5950190 

如 果 Slave 意 外 重启 ， 如 何 避 免 重 复 启动 服务 ? 

还 可 以 在 fork0 之 前 做 一 些 手脚 ， 让 Zurg Slave 能 更 方便 地 获得 Sudoku Solver 的 存活 状态 。 
打开 一 对 pipe， 让 子 进程 继承 写 端 rt， 在 父 进程 中 关注 读 端 fd 的 readable 事 件 。 这 样 一旦 子 


进程 退出 ， 父 进程 Zurg Slave 立 刻 就 能 读 到 EOF， 这 比 用 SIGCHLD signal 更 可 靠 。 


88 


除非 使 用 不 常用 的 SRV RR 记录 ， 见 RFC 2782。 


第 10 章 ”C++ 编译 链接 模型 精 要 


C++ 从 C 语 言 :继承 了 一 种 古老 的 编译 模型 ， 引 发 了 其 他 语言 中 根本 
不 存在 的 一 些 编译 方面 的 问题 (比方 说 “一 次 定义 原则 (ODR) 2”) 。 
理解 这 些 问题 有 助 于 在 实际 开发 中 规避 各 种 古怪 的 错误 。 

C++ 语言 的 三 大 约束 是 : 与 C 兼 容 、 零 开销 (zero overhead) 原 
则 、 值 语义 。811.7 会 具体 介绍 值 语义 的 话题 ， 下 面谈 谈 第 一 点 “与 C 兼 
谷 ”o 

“与 C 兼 容 * 的 含义 很 丰富 ， 不 仪 仅 是 兼容 C 的 语法 :， 更 重要 的 是 兼 
容 C 语 言 的 编译 模型 与 运行 模型 ， 也 就 是 说 能 直接 使 用 C 语 言 的 头 文件 
和 库 。 比 方 说 对 于 connect(2) 这 个 系统 函数 :， 它 的 头 文件 和 原型 如 下 : 


#include <sys/socket.h> 


int connect(int sockfd, const struct sockaddr xaddr, socklen_t addrlen) ; 

C++ 的 基本 类 型 的 长 度 和 表示 (representation) 必须 和 C 语 言 一 样 
(int、 指 针 等 ) ， 准 确 地 说 是 和 编译 系统 库 的 C 语 言 编译 器 保持 一 致 。 
C++ 编 译 器 必须 能 理解 头 文 件 sys/socket.h 中 struct sockaddr 的 定义 ， 生 成 
与 C 编 译 器 完全 相同 的 layout (包括 采用 相同 的 对 齐 (alignment) 算 
法 ) ， 并 且 遵 循 C 语 言 的 水 数 调 用 约定 (参数 传递 ， 返 回 值 传 递 ， 栈 帧 
管理 等 等 ) ， 才 能 直接 调用 这 个 C 语 言 库 函数 。 

现代 操作 系统 暴露 出 的 原生 接口 往往 是 C 语 言 描述 的 ，Windows 的 
原生 API 接 口 是 Windowsh 头 文 件 ，POSIX 是 一 堆 C 语 言 头 文件 。C++ 兼 
容 C， 从 而 能 在 编译 的 时 候 直接 使 用 这 些 头 文件 ， 并 链接 到 相应 的 库 
上 。 并 在 运行 的 时 候 直 接 调用 C 语 言 的 沼 数 库 ， 这 省 了 一 道中 间 层 的 手 
续 ， 可 算 作 是 C++ 高 效 的 原因 之 一 。 

图 10-1 表 明了 Linux 上 编译 一 个 C++ 程 序 的 典型 过 程 。 其 中 最 耗 时 
间 的 是 cclplus 这 一 步 ， 在 一 台 正 在 编译 C++ 项 目的 机 器 上 运行 top(1)， 
排 在 首位 的 往往 就 是 这 个 进程 。 


大 “Header ~ \ ( Library AN 
\ files / 


files y 


/ 从 i \ Preprocessor Compiler Assembler 1 Object file\ 
[Ihello.cc 广 -| in \hell L 
\ J cpp SoeEs S as he DO.O/ 


| other .0 \ 
‘files (if any)y 


/Executable\ 
\ file 


Linker 


图 10-1 
值得 指出 的 是 ， 图 10-1 中 各 个 阶段 的 界线 并 不 是 铁定 的 。 通 常 cpp 
和 cclplus 会 合并 成 一 个 进程 ; 而 cclplus 和 as 之 间 既 可 以 以 临时 文件 
(*.s) 为 中 介 ， 也 可 以 以 管道 (pipe) 为 中 介 ; 对 于 单一 源 文件 的 小 程 
序 ， 人 往往 不 必 生 成 .o 文 件 。 另 外 ，linker 还 有 一 个 名 字 叫 做 link editor。 

在 不 同 的 语 境 下 , “编译 ”一 词 有 不 同 的 含义 。 如 果 笼 统 地 说 把 .cc 
文件 “编译 ”为 可 执行 文件 ， 那 么 指 的 是 
preprocessorcompilervassemblevlinker 这 四 个 步骤 。 如 果 区 分 “编译 ?和 
“链接 *， 那 么 “编译 ”通常 指 的 是 从 源 文件 生成 目标 文件 这 几 步 ( 即 g++ 
-Cc) 。 如 果 进 一 步 区 分 预 处 理 、 编 译 (代码 转换 ) 、 汇 编 ， 那 么 编译 器 
实际 看 到 的 是 预 处 理 器 完成 头 文 件 替 换 和 宏 展 开 之 后 的 源 代码 i。 

C++ 至 今 (包括 C++11) 没有 模块 机 制 ， 不 能 像 其 他 现代 编程 语言 
那样 用 import 或 using 来 引入 当前 源 文件 用 到 的 库 ( 含 其 他 
package/module 里 的 函数 或 类 ) ， 而 必须 用 include 头 文件 的 方式 来 机 械 
地 将 库 的 接口 声明 以 文本 替换 的 方式 载 入 ， 再 重新 parse 一 遍 。 这 么 做 
一 方面 让 编译 效率 奇 低 ， 编 译 器 动力 要 parse 几 万 行 预 处 理 之 后 的 源 
码 ， 哪 怕 源 文件 只 有 几 百 行 ; 另 一 方面 ， 也 留 下 了 巨大 的 隐患 。 部 分 
原因 是 头 文 件 包含 具 有 传递 性 ， 引 入 不 必要 的 依赖 ; 另 一 个 原因 是 头 
文件 是 在 编译 时 使 用 ， 动 态 库 文 件 是 在 运行 时 使 用 ， 二 者 的 时 间 差 可 
能 带 来 不 匹配 ， 导 致 二 进 制 兼容 性 方面 的 问题 (811.2) 。C++ 的 设计 
者 Bjarne Stroustrup 目 己 很 清楚 这 一 点 *， 但 这 是 在 “与 C 兼 容 ” 的 大 前 提 


下 不 得 不 做 出 的 妥协 。 


比如 有 一 个 简单 的 小 程序 ， 只 用 了 printf(3)， 却 不 得 不 包含 
stdio.h， 把 其 他 不 相关 的 函数 、struct 定 义 、 安 、typedef、 全 局 变量 等 
等 也 统统 引入 到 当前 命名 空间 。 在 预 处 理 的 时 候 会 读 取 近 20 个 头 文 
件 ， 预 处 理 之 后 供 编译 器 parse 的 源码 有 近 千 行 (这 还 算是 短 的 ) 。 


// hello.cc # 一 个 简单 的 源 文件 
#include <stdio.h> # 只 包含 了 一 个 头 文件 
int main() 


printf("hello preprocessor\n"); 


} 


$ gcc -E hello.cc |wc # 预 处 理 之 后 有 942 行 
942 2164 17304 


$ strace -f -e open cpp hello.cc -o /dev/null 2>&1 |grep -v ENOENT|awk “{print $3}’ 
# 省 略 无 关内 容 。 另 外 我 不 知道 cpp 有 没有 直接 输出 以 下 内 容 的 命令 行 选 项 ， 只 好 用 条 办 法 。 
open("hello.cc", 

open("/usr/include/stdio.h", 

open("/usr/include/features.h", 
open("/usr/include/bits/predefs.h", 
open("/usr/include/sys/cdefs.h", 
open("/usr/include/bits/wordsize.h", 
open("/usr/include/gnu/stubs.h", 
open("/usr/include/bits/wordsize.h"”, 
open("/usr/include/gnu/stubs-64.h", 
open("/usr/lib/gcc/x86_64-linux-gnu/4.4.5/include/stddef.h", 
open("/usr/include/bits/types.h", 
open("/usr/include/bits/wordsize.h”", 
open("/usr/include/bits/typesizes.h", 
open("/usr/include/libio.h", 
open("/usr/include/_G_config.h", 
open("/usr/lib/gcc/x86_64-linux-gnu/4.4.5/include/stddef.h", 
open("/usr/include/wchar.h", 
open("/usr/lib/gcc/x86_64-linux-gnu/4.4.5/include/stdarg.h", 
open("/usr/include/bits/stdio_lim.h", 
open("/usr/include/bits/sys_errlist.h", 


读者 各 有 兴趣 ， 可 将 其 中 的 stdio.h 蔡 换 为 C++ 标准 库 的 头 文件 
complex， 看 看 预 处 理 之 后 的 源 代 码 有 多 少 行 ， 额 外 包含 了 哪些 头 文 
件 。 (在 我 的 机 器 上 测试 ， 预 处 理 之 后 有 21879 行 ， 包 含 了 近 150 个 头 
文件 ， 包 括 <string>、<sstream> 等 大 块头 。 ) 

值得 一 提 的 是 ， 为 了 兼容 C 语 言 ，C++ 付 出 了 很 大 的 代价 。 例 如 要 
兼容 C 语 言 的 隐 式 类 型 转换 规则 (例如 整数 类 型 提升 ) ， 这 让 C++ 的 函 


数 重 载 决议 (overload resolution) 规则 变 得 无 比 复杂 :。 另外 class 定 义 
式 后 面 那个 分 号 也 不 晓得 谋杀 了 多 少 初学 者 的 时 间 ， 这 是 为 了 与 C 
struct 语 法 兼容 ， 因 为 C 允 许 在 图 数 返回 类 型 处 定义 新 struct 类 型 ， 因 此 
分 号 是 必需 的 。Bjarne Stroustrup 自 己 也 说 “我 又 不 是 不 懂 如 何 设计 出 比 
C++ 更 漂亮 的 语言 *”。 〈 由 于 C 语 言 没 有 函数 重 载 ， 也 就 不 存在 重 载 决 
议 ， 所 以 隐 式 类 型 转换 的 危害 没有 体现 在 这 一 方面 。) 


10.1 C 语 言 的 编译 模型 及 其 成 因 


要 想 了 解 C 语 言 的 编译 模型 的 成 因 ， 我 们 需要 略微 回顾 一 下 Unix 的 
早期 历史 :。1969 年 Ken Thompson 用 汇编 语言 在 一 台 内 置 的 PDP-7 小 型 
机 上 写 出 了 Unix 的 史前 版 本 ?。 值 得 一 提 的 是 ，PDP-7 的 字 长 是 18-bit 
， 只 能 按 字 (word) 寻 址 ， 不 支持 今日 常见 的 按 8-bit 字 节 寻 址 。 假 如 C 
语言 诞生 在 PDP-7 上 ， 计 算 机 软 硬 件 的 发 展 史 了 恐怕 要 改写 。 

1970 年 5 月 ，Ken Thompson 和 Dennis Ritchie 所 在 的 贝尔 实验 室 下 订 
单 购买 了 一 台 PDP-11 小 型 机 ， 这 是 1970 年 1 月 刚刚 上 市 的 新 机 型 。PDP- 
11 的 字 长 是 16-bit， 可 以 按 8-bit 字 蔬 寻 址 ， 这 可 谓 一 举 韵 定 了 今后 C 语 
言及 硬件 的 发 展 道路 2。 这 台 机 器 的 主机 (处 理 器 和 内 存 ) 当年 夏天 就 
到 货 了 ， 但 是 硬盘 直到 1970 年 12 月 才 到 货 。 

1971 年 ，Ken Thompson 把 原来 运行 在 PDP-7 上 的 Unix 用 PDP-11 汇 
编 靠 人 力 重 写 了 一 遍 ， 运 行 在 这 台 PDP-11/20 机 器 上 。 这 人 台 机 器 一 共 只 
有 24KiB 内 存 2， 其 中 16Kj 训 运行 操作 系统 ，8KiB 运 行 用 户 代码 上 ; 硬盘 
一 共 只 有 512KiB， 文 件 大 小 限制 为 64KiB。 然 后 实现 了 一 个 文本 处 理 
器 ， 用 于 排版 贝尔 实验 室 的 专利 申请 ， 这 是 购买 这 台 计 算 机 的 正经 用 
途 。 

下 面 的 Unix 历 史 多 半 发 生 在 另外 一 台 内 存 和 硬盘 都 更 大 的 PDP-11 
机 器 上 ， 型 号 可 能 是 PDP-11/40 或 PDP-11/45。 (不 同 的 权威 文献 说 法 不 
一 ， 可 能 不 止 一 台 。) 

1972 年 是 C 语 言 历史 上 最 为 关键 的 一 年 ， 这 一 年 C 语 言 加 入 了 预 
处 理 ， 具 备 了 编写 大 型 程序 的 能 力 (理由 见 下 文 ) 。 到 了 1973 年 初 ，C 


语言 基本 定型 ， 主 要 新 特性 是 支持 结构 体 。 此 时 C 语 言 的 编译 模型 已 经 
基本 定型 ， 即 分 为 预 处 理 、 编 译 、 汇 编 、 链 接 这 四 个 步 又， 沿用 至 
今 。 

1973 年 是 Unix 历 史上 关键 的 一 年 ， 这 一 年 夏天 ， 二 人 把 Unix 的 内 
核 用 C 语 言 重 写 了 一 遍 ， 完 成 了 用 高 级 语言 编写 操作 系统 的 伟大 创举 。 
(Thompson 在 1972 年 就 尝试 过 用 C 重 写 Unix 内 核 ， 但 是 当时 的 C 语 言 不 
支持 结构 体 ， 因 此 他 放弃 了 。 ) 

随后 ，1974 年 ，Dennis Ritchie 和 Ken Thompson 发 表 了 经 典 论文 
《The UNIX Time-Sharing System》*。 除 了 没有 遂 数 原型 声明 外 ， 
1974 年 的 C 代 码 z 读 起 来 跟 现在 的 C 程 序 基本 无 区 别 。 


10.1.1 为 什么 C 语 言 需要 预 处 理 


了 解 了 C 语 言 的 诞生 背景 ， 我 们 可 以 归纳 PDP-11 上 的 第 一 代 C 编 译 
器 的 硬性 约束 : 内 存 地 址 空间 只 有 16-bit， 程 序 和 数据 必须 挤 在 这 狭小 
的 64KiB 空 间 里 ， 可 谓 捉襟见肘 *。 注 意 ， 本 节 提 到 的 C 语 言 甚至 早 于 
1978 年 的 K&R C， 是 20 世 纪 70 年 代 最 初 几 年 的 原始 C 语 言 。 

编译 器 没 办 法 在 内 存 里 完整 地 表示 单个 源 文件 的 抽象 语法 树 *， 更 
不 可 能 把 整个 程序 (由 多 个 源 文件 组 成 ) 放 到 内 存 里 ， 以 完成 交叉 引 
用 〈 不 同 源 文件 的 函数 之 间 相 互 调 用 ， 使 用 外 部 变量 等 等 ) 。 由 于 内 
存 限 制 ， 编 译 器 必须 要 能 分 别 编译 多 个 源 文 件 ， 生 成 多 个 目标 文件 ， 
再 设法 把 这 些 目标 文件 组 合 (链接 *) 为 一 个 可 执行 文件 。 

秆 今天 看 来 ，C 语 言 这 种 支持 把 一 个 大 程序 分 成 多 个 源 文 件 的 “ 功 
能 ”几乎 是 顺理成章 的 。 但 是 在 当时 而 言 ， 并 不 是 每 个 语言 都 有 意 地 做 
到 这 一 点 。 我 们 以 同一 时 期 (1968-1974) Niklaus Wirth 设 计 的 Pascal 语 
言 为 对 照 。Pascal 语 言 可 以 定义 函数 和 结构 体 ， 也 支持 指针 ， 语 法 也 比 
当时 的 C 语 言 更 优美 。 但 它 长 期 没有 官方 规定 :的 多 源 文件 模块 化 机 
制 ， 它 要 求 每 个 程序 (program) 必须 位 于 同一 个 源 文件 2=， 这 其 实 大 
大 限制 了 它 在 系统 编程 方面 的 用 途 *。 如 果 Pascal 一 早 就 克服 这 些 缺 点 * 
， “那么 我 们 今天 很 可 能 要 把 begin 和 end 直 接 映射 到 键盘 上 。 3” 


或 许 是 受 内 存 限 制 ， 一 个 可 执行 程序 不 能 太 大 ，Dennis Ritchie 编 
写 的 PDP-11 C 编 译 器 不 是 一 个 可 执行 文件 ， 而 是 7 个 可 执行 文件 *: 
cC、cpp、as、1d、c0、cl、c22。 其 中 cc 是 个 driver， 用 于 调用 另外 几 个 
程序 。cpp 是 预 处 理 器 (Unix V7 从 c0 分 离 出 来 ) ， 当 时 叫做 compiler 
control line expander。c0、cl、c2 是 C 编 译 器 的 三 个 阶段 (phase) 兰 ，c0 
的 作用 是 把 源 程 序 编 译 为 两 个 中 间 文 件 ; cl 把 中 间 文 件 编译 为 汇编 产 
代码 ; c2 是 可 选 的 ， 用 于 对 生成 汇编 代码 做 守 孔 优化 。as 是 汇编 器 ， 把 
汇编 代码 转换 为 目标 文件 。1d 是 链接 器 ， 把 目标 文件 和 库 文件 链接 成 可 
执行 文件 。 编 译 流 程 见 图 10-2。 不 用 cc， 手 工 编 译 一 个 简单 程序 prog.c 
的 过 程 如 下 : 

/lib/cpp prog.c > prog.i # prog.i 是 预 处 理 之 后 的 源 代码 
/lib/c8 prog.i temp1 temp2  # c@ 生成 temp1 和 temp2 这 两 个 中 间 文件 


/lib/c1 temp1 temp2 prog.s # cl 读 入 temp1 和 temp2， 生 成 汇编 代码 prog.s 
a 


此 
i 
| 
x 志 
1 


as - prog.s # 把 prog.s 汇编 为 目标 文件 a.out。 猜 猜 a.out 的 原意 ? 
ld -n /libyvcrt6.o a.out -lc # 把 a.out 链接 为 可 执行 文件 
当时 的 链接 器 是 单 向 查找 未 决 符号 ， 因 此 要 把 crt6.o 放 到 a.out 之 前 ，-1lc 必须 放 到 末尾 
1 
Preprocessor CC phase 1 ~ phase 2 | - Assembler Linker 
+ 小 | dl 人 上 
图 10-2 


为 了 能 在 尽量 减少 内 存 使 用 的 情况 下 实现 分 离 编译 ，C 语 言 来 用 了 
“ 隐 式 函数 声明 (implicit declaration of function) ”的 做 法 。 代 码 在 使 用 
前 文 未 定义 的 钞 数 时 ， 编 译 器 不 需要 也 不 检查 函数 原型 2: 既 不 检查 参 
数 个 数 ， 也 不 检查 参数 类 型 与 返回 值 类 型 。 编 译 器 认为 未 声明 的 遂 数 
都 返回 int， 并 且 能 接受 任意 个 数 的 int 型 参数 。 而 且 早 期 的 C 语 言 甚 至 不 
严格 区 分 指针 和 int， 而 是 认为 二 者 可 以 相互 赋值 转换 。 在 C++ 程 序 员 看 
来 ， 这 是 毫 无 安全 保障 的 做 法 ， 但 是 C 语 言 就 是 如 此 地 相信 程序 员 。 

举例 解释 一 下 什么 是 “ 隐 式 函数 声明 ”。 


// hello.c 


int main() # 这 个 程序 没有 引用 任何 头 文件 
printf("hello C.\n"); # 隐 式 声明 int printf(...); 
return 0; 

} 

$ gcc hello.c -Wall # 用 gcc 可 以 编译 运行 通过 


hello.c: In function 'main’: 
hello.c:3: warning: implicit declaration of function “printf 
hello.c:3: warning: incompatible implicit declaration of built-in function 'printf’ 


$ g++ hello.c -Wall # 用 g++ 则 会 报错 
hello.c: In function 'int main() ': 
hello.c:3: error: 'printf’ was not declared in this scope 


如 果 C 程 序 用 到 了 某 个 没有 定义 的 函数 〈 可 能 错误 拼写 了 函数 
名 ) ， 那 么 实际 造成 的 是 链接 错误 (undefined reference) ， 而 非 编译 
错误 。 例 如 : 
// undefined.c 


int main() 
helloworld(): # 隐 式 声明 helloworld 
return 0; 

} 


$ gcc undefined.c -Wall 
undefined.c: In function 'main': 
undefined.c:3: warning: implicit declaration of function 'helloworld' 
/tmp/ccHUCGat.o: In function ‘main': 
undefined.c:(.text+0xa): undefined reference to ‘helloworld' 
collect2: ld returned 1 exit status # 真正 报错 的 是 ld， 不 是 cc1 
其 实 ， 有 了 隐 式 函数 声明 ， 我 们 已 经 能 分 别 编译 多 个 源 文 件 ， 然 
后 把 它们 链接 为 一 个 大 的 可 执行 文件 (此 处 指 的 是 编译 出 来 有 几 十 KiB 
的 程序 ) 。 那 么 为 什么 还 需要 头 文件 和 预 处 理 呢 ? 
根据 Eric S. Raymond 在 《The Art of Unix Programming》 第 17.1.1 节 
a9| 用 Steve Johnson 的 话 ， 最 早 的 Unix 是 把 内 核 数 据 结 构 (例如 struct 
dirent) 打印 在 手册 上 ， 然 后 每 个 程序 自己 在 代码 中 定义 struct。 例 如 
Unix V5 的 1s(1) 产 码 # 中 就 自行 定义 了 表示 目录 的 结构 体 。 有 了 预 处 理 


和 头 文 件 ， 这 些 公 共 信 息 就 可 以 做 成 头 文 件 放 到 /usrvinclude， 然 后 程序 
包含 用 到 的 头 文 件 即 可 。 减 少 无 谓 错误 ， 提 高 代码 的 可 移植 性 。 

最 早 的 预 处 理 只 有 两 项 功能 : ##include 和 #define。##include 完 成 文件 
内 容 替 换 ，#define 只 支持 定义 宏 常量 ， 不 支持 定义 宏 遂 数 。 早 期 的 头 
文件 里 只 放 三 样 东西 : struct 定 义 ， 外 部 变量 2 的 声明 ， 宏 常量 。 这 样 可 
以 减少 各 个 源 文 件 里 的 重复 代码 。 

到 目前 为 止 ， 头 文件 的 预 处 理 的 作用 都 还 是 正面 的 。 在 谈 头 文件 
与 预 处理 的 害处 之 前 ， 让 我 把 PDP-11 的 16-bit 地 址 空间 对 C 语 言及 其 编 
译 模型 的 影响 讲 完 。 


10.1.2 C 语 言 的 编译 模型 


由 于 不 能 将 整个 产 文 件 的 语法 树 保 存在 内 存 中 ，C 语 言 其 实 是 按 
“ 单 遍 编 译 (one pass) 2 来 设计 的 。 所 谓 单 遍 编 译 ， 指 的 是 从 头 到 尾 
扫描 一 遍 源码 ， 一 边 解析 (parse) 代码 ， 一 边 即 刻 生成 目标 代码 。 在 
单 遍 编译 时 ， 编 译 器 只 能 看 到 目前 〈 当 前 语句 一 符号 之 前 ) 已 经 解析 
过 的 代码 ， 看 不 到 之 后 的 代码 ， 而 且 过 眼 即 志 。 这 意味 着 


C 语 言 要 求 结构 体 必须 先 定 义 ， 才 能 访问 其 成 员 ， 否 则 编译 器 不 
知道 结构 体 成 员 的 类 型 和 偏 移 量 ， 就 无 法 立刻 生成 目标 代码 。 

:局 部 变量 也 必须 先 定义 再 使 用 ， 因 为 如 果 把 定义 放 到 后 面 ， 编 译 
器 在 第 一 次 看 到 一 个 局 部 变量 时 并 不 知道 它 的 类 型 和 在 stack 中 的 位 
置 ， 也 就 无 法 立刻 生成 代码 ， 只 能 报错 退出 。 

:为 了 方便 编译 器 分 配 stack 空 间 ，C 语 言 要 求 局 部 变量 只 能 在 语句 
块 的 开始 处 定义 。 

:对 于 外 部 变量 ， 编 译 器 只 需要 知道 它 的 类 型 和 名 字 ， 不 需要 知道 
它 的 地 址 ， 因 此 需要 先 声 明 后 使 用 。 在 生成 的 目标 代码 中 ， 外 部 变量 
的 地 址 是 个 空白 ， 留 给 链接 器 去 填 上 。 

当 编 译 器 看 到 一 个 函数 调用 时 ， 按 隐 式 阔 数 声明 规则 ， 编 译 器 可 
以 立刻 生成 调用 函数 的 汇编 代码 《函数 参数 入 栈 、 调 用 、 获 取 返 回 


值 ) ， 这 里 唯一 尚 不 能 确定 的 是 函数 的 实际 地 址 ， 编 译 器 可 以 留 下 一 
个 空 日 给 链接 器 去 填 。 


对 C 编 译 器 来 说 ， 只 需要 记 住 struct 的 成 员 和 偏 移 ， 知 道外 部 变量 
的 类 型 ， 就 足以 一 边 解析 源 代 码 ， 一 边 生 成 目标 代码 。 因 此 早期 的 头 
文件 和 预 处 理 恰 好 满足 了 编译 器 的 需求 。 外 部 符号 〈 范 数 或 变量 ) 的 
决议 (resolution) 可 以 留 给 链接 器 去 做 #。 

从 上 面 的 编译 过 程 可 以 发 现 ，C 编 译 器 可 以 做 得 很 小 ， 只 使 用 很 少 
的 内 存 。 据 我 观察 ，Unix V5 的 C 编 译 器 甚至 没有 使 用 动态 分 配 内 存 ， 
而 是 用 一 些 全 局 的 栈 和 数组 来 帮助 处 理 复杂 表达 式 和 语句 宇 套 ， 整 个 
编译 器 的 内 存 消耗 是 固定 的 s。 (我 推测 C 语 言 不 支持 在 水 数 内 部 语 套 
定义 冰 数 也 是 受 此 影响 ， 因 为 这 样 一 来 意味 着 必须 用 递归 才能 解析 函 
数 体 ， 编 译 器 的 内 存 消耗 就 不 是 一 个 定 值 。) 

受 “ 不 能 肉 套 ”的 影响 ， 整 个 C 语 言 的 命名 空间 是 平坦 的 (flat) ， 
疯 数 和 struct 都 处 于 全 局 命名 空间 。 这 其 实 给 C 程 序 员 带 来 了 不 少 麻 
烦 ， 因 为 每 个 库 都 要 设法 避免 自己 的 水 数 和 struct 与 其 他 库 冲 突 。 早 期 
C 语 言 甚至 不 允许 在 不 同 struct 中 使 用 相同 的 成 员 名 称 s， 因 此 我 们 看 到 
一 些 struct 的 名 字 有 前 缀 ， 例 如 struct timeval 的 成 员 是 tv_sec 和 tv_usec， 
struct sockaddr_ in 的 成 员 是 sin_family、sin_port、sin_addr。 

讲 清楚 了 C 语 言 的 编译 模型 ， 我 们 再 来 看 看 它 对 C++ 的 影响 (和 伤 
害 ) 。 


10.2 C++ 的 编译 模型 


由 于 要 保持 与 C 兼 容 ， 原 本 很 多 在 C 语 言 中 顺理成章 或 者 危害 不 大 
的 东西 继承 到 了 C++ 里 就 成 了 大 祸害 ?。 


10.2.1 单 遍 编译 


C++ 也 继承 了 单 遍 编译 。 在 单 遍 编译 时 ， 编 译 器 只 能 根据 目前 看 到 
的 代码 做 出 决策 ， 读 到 后 面 的 代码 也 不 会 影响 前 面 做 出 的 决定 。 这 特 
别 影 响 了 名 字 查 找 (name lookup) 和 消 数 重 载 决议 。 

先 说 名 字 查 找 ，C++ 中 的 名 字 包 括 类 型 名 、 哨 数 名 、 变 量 名 、 
typedef 名 、template 名 等 等 。 比 方 说 对 下 面 这 行 代码 
Foo<T> a; 。 # Foo、T、a 这 三 个 名 字 都 不 是 macro 
如 果 不 知 道 Foo、T、a 这 三 个 名 字 分 别 代表 什么 ， 编 译 器 就 无 法 进行 语 
法 分 析 。 根 据 之 前 出 现 的 代码 不 同 ， 上 面 这 行 语句 至 少 有 三 种 可 能 
性 : 


1. Foo 是 个 template<typename X> class Foo;，TI 是 type， 那 么 这 人 句 
话 以 T 为 模板 类 型 参数 类 型 具 现 化 了 Foo<T> 类 型 ， 并 定义 了 变量 a。 

2. Foo 是 个 template<int X> class Foo;，TI 是 constint 变 量 ， 那 么 这 和 句 
话 以 IT 为 非 类 型 模板 参数 具 现 化 了 Foo<T> 类 型 ， 并 定义 了 变量 a。 

3. Foo、T、a 都 是 int， 这 句 话 是 个 没 哈 用 的 表达 式 语 句 。 


别 筷 了 operator<0O 是 可 以 重 载 的 ， 这 句 简单 代码 还 可 以 表达 别 的 意 
思 总 。 另 外 一 个 经 典 的 例子 是 AA BB(CC);， 这 句 话 既 可 以 声明 函数 ， 
也 可 以 定义 变量 。 

C++ 只 能 通过 解析 源码 来 了 解 名 字 的 含义 ， 不 能 像 其 他 语言 那样 通 
过 直接 读 取 目 标 代码 中 的 元 数据 来 获得 所 需 信 息 〈 国 数 原型 、class 类 
型 定义 等 等 ) 。 这 意味 着 要 想 准 确 理解 一 行 C++ 代 码 的 含义 ， 我 们 需要 
通读 这 行 代 码 之 前 的 所 有 代码 ， 并 理解 每 个 符号 (包括 操作 符 ) 的 定 
义 。 而 头 文件 的 存在 使 得 肉眼 观察 几乎 是 不 可 能 的 。 完 全 有 可 能 出 现 
一 种 情况 : 某 人 不 经 意 改变 了 头 文件 ， 或 者 仅仅 是 改变 了 源 文 件 中 头 
文件 的 包含 顺序 ， 就 改变 了 代码 的 人 含义， 破坏 了 代码 的 功能 。 这 时 能 
造成 编译 错误 已 经 是 谢 天 谢 地 了 。 

C++ 编译 器 的 符号 表 至 少 要 保存 目前 已 看 到 的 每 个 名 字 的 含义 ， 包 
括 class 的 成 员 定义 、 已 声明 的 变量 、 已 知 的 函数 原型 等 ， 才 能 正确 解 
析 源 代码 。 这 还 没有 考虑 template， 编 译 template 的 难度 超 乎 想象 。 编 译 


器 还 要 正确 处 理 作 用 域 衣 套 引发 的 名 字 的 含义 变化 : 内 层 作 用 域 中 的 
名 字 有 可 能 庶 住 (shadow) 外 层 作用 域 中 的 名 字 。 有 些 其 他 语言 会 对 
此 发 出 警告 ， 对 此 我 建议 用 g++ 的 -Wshadow 选 项 来 编译 代码 。 ( 插 一 
句 题 外 话 : muduo 的 代码 都 是 -Wall -Wextra -Werror -Wconversion - 
Wshadow 编 译 的 。) 


再 说 函数 重 载 决议 ， 当 C++ 编译 器 读 到 一 个 函数 调用 语句 时 ， 它 
必须 (也 只 能 ) 从 目前 已 看 到 的 同名 函数 中 选 出 最 佳 函 数 。 哪 怕 后 面 
的 代码 中 出 现 了 更 合适 的 匹配 ， 也 不 能 影响 当前 的 决定 2。 这 意味 着 如 
果 我 们 交换 两 个 hamespace 级 的 遂 数 定义 在 源 代码 中 的 位 置 ， 那 么 有 可 
能 改变 程序 的 行为 。 

比方 说 对 于 如 下 一 段 代 码 : 


void foo(int) 


printftC fooCint}: Vn Sy: 


void bar() 


{ 
foo('a'); // 调用 foo(int) 
} 


void foo(char) 


printf("foo(char);\n’"); 


int main() 


{ 
bar(); 


} 
如 果 有 人 在 重 构 的 时 候 把 void bar0 的 定义 挪 到 void foo(char) 之 后 ， 
程序 的 输出 就 不 一 样 了 。 
这 个 例子 充分 说 明 实 现 C++ 重 构 工 具 的 难度 : 重 构 器 对 代码 的 理解 
必须 达到 编译 器 的 水 准 ， 才 能 在 修改 代码 时 不 改变 原意 。 阔 数 的 参数 


可 以 是 个 复杂 表达 式 ， 重 构 器 必须 能 正确 解析 表达 式 的 类 型 才能 完 
重 载 决 议 。 比 方 说 foo(str[0]) 应 该 调用 哪个 foo0 跟 str[0] 的 类 型 有 关 ， 而 
str 可 能 是 个 std::string， 这 就 要 求 重 构 器 能 正确 理解 template 并 具 现 化 
之 。C++ 至 今 没 有 像样 的 重 构 工 具 ， 了 恐怕 正 是 这 个 原因 。 

C++ 编译 器 必须 在 内 存 中 保存 函数 级 的 语法 树 ， 才 能 正确 实施 返回 
值 优化 (RVO) 4， 否 则 遇 到 return 语 句 的 时 候 编译 器 无 法 判断 被 返回 
的 这 个 对 象 是 不 是 那个 可 以 被 优化 的 named object?。 

其 实 由 于 C++ 新 增 了 不 少 语言 特性 ，C++ 编 译 器 并 不 能 真正 做 到 像 
C 那 样 过 眼 即 忘 的 单 遍 编译 。 但 是 C++ 必须 兼容 C 的 语意 ， 因 此 编译 器 
不 得 不 装 得 好 像 是 单 遍 编译 (准确 地 说 是 单 遍 parse) 一 样 ， 哪 怕 它 内 


部 是 multiple pass 的 2。 
10.2.2 ”前 向 声明 


几乎 每 份 C++ 编码 规范 sss 都 会 建议 尽量 使 用 前 向 声明 来 减少 编译 
期 依赖 ， 这 里 我 用 “ 单 向 编译 ”来 解释 一 下 这 为 什么 是 可 行 的 ， 很 多 时 
候 甚 至 是 必需 的 。 

如 果 代 码 里 调用 了 函数 foo0，C++ 编 译 器 parse 此 处 函数 调用 时 ， 
需要 生成 函数 调用 的 目标 代码 。 为 了 完成 语法 检查 并 生成 调用 函数 的 
目标 代码 ， 编 译 器 需要 知道 水 数 的 参数 个 数 和 类 型 以 及 水 数 的 返回 值 
类 型 ， 它 并 不 需要 知道 水 数 体 的 实现 (除非 要 做 inline 展 开 ) 。 因 此 我 
们 通常 把 函数 原型 放 到 头 文件 里 ， 这 样 每 个 包含 了 此 头 文 件 的 源 文 件 
都 可 以 使 用 这 个 函数 。 这 是 每 个 C/C++ 程 序 员 都 明白 的 事情 。 

当然 ， 光 有 函数 原型 是 不 够 的 ， 程 序 其 中 某 一 个 源 文件 应 该 定义 
这 个 函数 ， 否 则 会 造成 链接 错误 (未 定义 的 符号 ) 。 这 个 定义 foo() 孙 
数 的 源 文件 通常 也 会 包含 foo0) 的 头 文 件 。 但 是 ， 假 设 在 定义 foo0 孙 数 
时 把 参数 类 型 写 错 了 ， 会 出 现 什 么 情况 ? 


// in foo.h 有 
void foo(int); // 原型 声明 


天 EN E00:Ce 
#include “foo.h” 


void foo(int，bool) // 在 定义 的 时 候 必 须 把 参数 列表 和 返回 类 型 抄 一 遍 ， 


// 有 抄 错 的 可 能 ， 也 可 能 将 来 改 了 一 处 ， 扎 了 改 另 一 处 
// do something 
} 


编译 foo.cc 会 有 错 吗 ? 不 会 ， 因 为 编译 器 会 认为 foo 有 两 个 重 载 。 但 
是 链接 整个 程序 会 报错 : 找 不 到 void foo(int) 的 定义 。 你 有 没有 遇 到 过 
类 似 的 问题 ? 

这 是 C++ 的 一 种 典型 缺陷 ， 即 一 样 东 西区 分 声明 和 定义 ， 代 码 放 到 
不 同 的 文件 中 ， 这 就 有 出 现 不 一 致 的 可 能 性 。C/C++ 里 很 多 稀奇 古怪 的 
错误 就 源 自 于 此 ， 比 如 [ExpC] 举 的 一 个 经 典 例子 : 在 一 个 源 文 件 里 声 
明 extern char* name， 在 另 一 个 源 文 件 里 却 定义 成 char name[] 三 "Shuo 
Chen";o 

对 于 函数 的 原型 声明 和 函数 体 定 义 而 言 ， 这 种 不 一 致 表现 在 参数 
列表 和 返回 类 型 上 上， 编译 器 通常 能 查 出 参数 列表 不 同 ， 但 不 一 定 能 查 
出 返回 类 型 不 同 ， 见 后 文 此 处 。 也 可 能 参数 类 型 相同 ， 但 是 顺序 调换 
了 。 例 如 原型 声明 为 draw(int height, int width)， 定 义 的 时 候 写 成 
draw(int width, int height)， 编 译 器 无 法 查 出 此 类 错误 ， 因 为 原型 声明 中 
的 变量 名 是 无 用 的 。 

其 他 语言 似乎 没有 这 个 问题 。 例 如 我 们 不 需要 在 Java 里 使 用 函数 原 
型 声明 ， 一 个 成 员 孙 数 的 参数 列表 只 需要 在 代码 里 出 现 一 次 ， 不 存在 
不 一 致 的 可 能 。Java 编 译 器 也 不 受 “ 单 遍 编译 ”的 约束 ， 调 整 成 员 函 数 的 
顺序 不 会 影响 代码 语义 。Java 也 没有 笨重 过 时 的 头 文 件 包 含 机 制 ， 而 是 
有 一 套 基于 package 的 模块 化 机 制 ， 陷 阱 少 得 多 。 

如 果 要 写 一 个 库 给 别人 用 ， 那 么 通常 要 把 接口 函数 的 原型 声明 放 
到 头 文件 里 。 但 是 在 写 库 的 内 部 实现 的 时 候 ， 如 果 没 有 出 现 函 数 相互 
调用 的 情况 ， 那 么 我 们 可 以 适当 组 织 函 数 定 义 的 顺序 ， 让 基础 函数 出 


现在 代码 的 前 面 ， 这 样 就 不 必 前 向 声明 函数 原型 了 。 人 参见 云 风 的 一 篇 
博客 #。 

函数 原型 声明 可 以 看 作 是 对 函数 的 前 向 声明 (forward 
declaration) ， 除 此 之 外 我 们 还 常常 用 到 class 的 前 向 声明 。 

有 些 时 候 class 的 前 向 声明 是 必需 的 ， 例 如 此 处 出 现 的 Child 和 
Parent class 相 互 指 涉 的 情况 s。 有 些 时 候 class 的 完整 定义 是 必需 的 ccs' 给 
2 ， 例 如 要 访问 class 的 成 员 ， 或 者 要 知道 class 的 大 小 以 便 分 配 空间 。 其 
他 时 候 ， 有 class 的 前 向 声明 就 足够 了 ， 编 译 器 只 需要 知道 有 这 么 个 名 
字 的 class。 

对 于 class Foo， 以 下 几 种 使 用 不 需要 看 见 其 完整 定义 : 

反 


.定义 或 声明 Foo* 和 Foo&， 包 括 用 于 函数 参数 、 返 回 类 型 、 局 部 变 
量 、 类 成 员 变 量 等 等 。 这 是 因为 C++ 的 内 存 模型 是 flat 的 ，Foo 的 定义 无 
法 改变 Foo 的 指针 或 引用 的 含义 。 

声明 一 个 以 Foo 为 参数 或 返回 类 型 的 国 数 ， 如 Foo bar() 或 void 
bar(Foo 人 ， 但 是 ， 如 果 代 码 里 调用 这 个 函数 就 需要 知道 Foo 的 定义 ， 
为 编译 器 要 使 用 Foo 的 拷贝 构造 遂 数 和 析 构 水 数 ， 因 此 至 少 要 看 到 它们 
的 声明 (虽然 构造 水 数 没有 参数 ， 但 是 有 可 能 位 于 private 区 ) 。 


muduo 代 码 中 大 量 使 用 前 向 声明 来 减少 include， 并 且 避 免 把 内 部 
class 的 定义 暴露 给 用 户 代码 。 

[CCS] 第 30 条 规定 不 能 重 载 &&、||、,( 逗 号) 这 三 个 操作 符 ，Google 
的 C++ 编 程 规范 补充 规定 2 不 能 重 载 一 元 operator& ( 取 址 操作 符 ) ， 
为 一 旦 重 载 operator&， 这 个 class 的 就 不 能 用 前 向 声明 了 。 例 如 : 
class Foo; // 前 向 声明 


void bar (Foo& foo) 


{ 
Foox p = &foo; // 这 各 话 是 取 foo 的 地 址 ， 但 是 如 果 重 载 了 &， 意 思 就 变 了 。 


代码 的 行为 跟 是 否 include Foo 的 完整 定义 有 关 ， 等 于 埋 了 “定时 炸 
弹 ”。 


10.3 C++ 链接 (linking) 


链接 (linking) 这 个 话题 可 以 单独 写 一 本 书 [LLL]， 这 本 书 讲 
“C++ 链接 ”的 有 第 4.4 节 “静态 链接 .C++ 相关 问题 ”和 第 9.4 节 “C++ 与 动 
人 态 链 接 2” 等 章节 。 

本 节 重 点 介绍 与 C++ 日 常 开发 相关 的 链接 方面 的 问题 ， 先 以 手工 编 
制 一 本 书 的 目录 和 交叉 索引 为 例 ， 介 绍 链 接 器 的 基本 工作 原理 23s。 假 
设 一 个 作者 写 完了 十 多 个 章节 ， 你 的 任务 是 把 这 些 章节 编辑 为 一 本 
书 。 每 个 章节 的 篇 幅 不 等 ， 从 30 页 到 80 页 都 有 ， 都 已 经 分 别 排 好 版 打 
印 出 来 。 (已 经 从 源 文件 编译 成 了 目标 文件 。) 

章节 之 间 有 交叉 引用 ， 即 正文 里 会 出 现 “ 请 参考 XXX 页 的 第 YYY 
节 * 等 字样 。 作 者 在 撰写 每 个 章节 的 时 候 并 不 知道 当前 文字 的 章节 号 ， 
当然 也 不 知道 当前 文字 将 来 会 出 现在 哪 一 页 上 。 因 为 他 可 以 随时 调整 
章节 顺序 、 增 减 文 字 内 容 ， 这 些 举动 会 影响 最 终 的 章节 编号 和 页 码 。 
为 了 5 引用 其 他 章节 的 内 容 ， 作 者 会 在 文字 中 放 anchor (LATEX 是 
\label) ， 给 需要 被 引用 的 文字 命名 。 比 方 说 本 章 *C++ 编 译 链 接 模型 精 
要 ”的 名 字 是 ch:cppCompilation。 《这 就 好 比 给 全 局 图 数 或 全 局 变量 起 
了 一 个 独一无二 的 名 字 。) 在 引用 其 他 章节 的 编号 或 页 码 时 ， 作 者 在 
正文 中 留 下 一 个 适当 的 空白 ， 并 注 明 这 里 应 该 填 上 的 某 个 anchor 的 页 码 
或 章节 编号 (LATEX 是 \ref{ch:cppCompilation}) 。 

现在 你 拿 到 了 这 十 几 摆 打印 的 文稿 ， 怎 么 把 它们 编辑 成 一 本 书 
呢 ? 你 可 能 会 想到 下 面 这 两 个 步骤 : 先 编排 页 码 和 章节 编号 ， 再 解决 
交叉 5 引用 。 第 一 步 : 


1a， 把 这 些 文稿 按 章 的 先后 顺序 晋 好 ， 这 样 就 可 以 统一 编制 正文 
页 码 。 
1b. 在 编制 页 码 的 同时 ， 章 节 号 也 可 以 一 并 确定 下 来 。 


在 进行 la 和 1b 这 个 步骤 时 ， 你 可 以 同时 顺序 记录 两 张 纸 : 


:章节 的 编号 、 标 题 和 它 出 现 的 页 码 ， 用 于 编制 目录 。 
. 遇 到 anchor 时 ， 记 下 它 的 名 字 和 出 现 的 页 码 、 章 节 号 ， 用 于 解决 
交叉 引用 。 


如 果 按 上 面 的 办 法 来 操作 ， 解 决 交 叉 引 用 就 不 难 了 。 第 二 步 : 


2. 再 从 头 翻 一 遍 书 稿 ， 遇 到 空白 的 交叉 应 用 ， 就 到 anchor 索 引 表 
里 碍 出 它 的 页 码 和 章节 编号 ， 填 上 空白 。 


至 此 ， 如 果 一 切 顺 利 的 话 ， 书 籍 编辑 任务 完成 。 请 读者 思考 ， 为 
什么 书 的 正文 页 码 用 阿拉 伯 数 字 ， 而 前 言 和 目录 的 页 码 通 单 是 罗马 数 
字 ? 如 果 整 本 书 从 头 到 尾 连 续 编排 页 码 ， 手 工 处 理会 遇 到 什么 困难 ? 

在 这 项 工作 中 最 容易 出 现 以 下 两 种 意外 情况 ， 也 正 是 最 常见 的 两 
种 链接 错误 。 


.正文 中 交叉 应 用 找 不 到 对 应 的 anchor， 空 白 填 不 上 咋 办 ? 
. 某 个 anchor 多 次 定义 ， 该 选 哪 一 个 填 到 交叉 引用 的 空白 处 呢 ? 


上 面 描述 的 办 法 要 至 少 翻 两 遍 全 文 ， 有 没有 办 法 从 头 到 尾 只 翻 一 
遍 书稿 就 完成 交叉 引用 呢 ? 如 果 作 者 在 写 书 的 时 候 只 从 前 面 的 章节 引 
用 后 面 的 章节 ， 那 么 是 可 以 做 到 这 一 点 的 。 我 们 在 编排 页 码 和 章节 号 
的 时 候 顺 便 阅 读 全 文 ， 遇 到 新 的 交叉 引用 空白 就 记 到 一 张 之 上 。 这 张 
纸 记 录 交 叉 引 用 的 名 字 和 空 日 出 现 的 页 码 。 我 们 知道 后 面 肯 定 能 遇 到 
对 应 的 anchor。 在 遇 到 一 个 anchor 时 ， 去 那 张 纸 上 看 看 有 没有 交叉 引用 
用 到 它 ， 如 果 有 ， 就 往 回 翻 到 空白 的 页 码 ， 把 空白 填 上 ， 回 头 绸 继续 
编制 页 码 和 章节 号 。 这 样 一 遍 扫 下 来 ， 章 节 编 号 、 页 码 、 交 叉 引 用 就 
全 部 搞定 了 。 


这 正 是 传统 one-pass 链 接 器 的 工作 方式 ， 在 使 用 这 种 链接 器 的 时 候 
要 注意 参数 顺序 ， 越 基础 的 库 越 放 到 后 面 。 如 果 程 序 用 到 了 多 个 
library， 这 些 library 之 间 有 依赖 (假设 不 存在 循环 依赖 ) ， 那 么 链接 器 
的 参数 顺序 应 该 是 依赖 图 的 拓扑 排序 。 这 样 保证 每 个 未 决 符号 都 可 以 
在 后 面 出 现 的 库 中 找到 。 比 如 A、B 两 个 彼此 独立 的 库 同 时 依赖 C 库 ， 
那么 链接 的 顺序 是 ABC 或 BAC。 

为 什么 这 个 规定 不 是 反 过 来 ， 先 列 出 基础 库 ， 再 列 出 应 用 库 呢 ? 
原因 是 前 一 种 做 法 的 内 存 消耗 要 小 得 多 。 如 果 先 处 理 基础 库 ， 链 接 器 
不 知道 库 里 哪些 符号 会 被 后 面 的 代码 用 到 ， 因 此 只 能 每 一 个 都 记 住 ， 
链接 器 的 内 存 消 耗 跟 所 有 库 的 大 小 之 和 成 正比 。 反 过 来 ， 如 果 先 处 理 
应 用 库 ， 那 么 只 需要 记 住 目前 尚未 查 到 定义 的 符号 就 行 了 。 链 接 器 的 
内 存 消耗 跟 程序 中 外 部 符号 的 多 少 成 正比 〈 而 且 一 旦 填 上 空白 ， 就 可 
以 忘掉 它 ) 。 

以 上 简要 介绍 了 C 语 言 的 链接 模型 ，C++ 与 之 相 比 主要 增加 了 两 项 
内 容 : 


.了 国 数 重 载 ， 需 要 类 型 安全 的 链接 ”** *"% ， 即 name mangling。 和 
:vague linkagesz， 即 同一 个 符号 有 多 份 互 不 冲突 的 定义 。 


name mangling 的 事情 一 般 不 需要 程序 员 操心 ， 只 要 掌握 extern 
"C" 的 用 法 ， 能 和 C 程 序 库 interoperate 就 行 。 何 况 现在 一 般 的 C 语 言 库 的 
头 文件 都 会 适当 使 用 extern "C"， 使 之 也 能 用 于 C++ 程序 。 

C 语 言 通常 一 个 符号 在 程序 中 只 能 有 一 处 定义 ， 否 则 就 会 造成 重复 
定义 。C++ 则 不 同 ， 编 译 器 在 处 理 单个 源 文件 的 时 候 并 不 知道 某 些 符号 
是 否 应 该 在 本 编译 单元 定义 。 为 了 保险 起 匈 ， 只 能 每 个 目标 文件 生成 
一 份 “ 弱 定 义 ”， 而 依赖 链接 器 去 选择 一 份 作为 最 终 的 定义 ， 这 就 是 
vague linkage。 不 这 么 做 的 话 就 会 出 现 未 定义 的 符号 错误 ， 因 为 链接 器 
通常 不 会 聪明 到 反 过 来 调用 编译 器 去 生成 未 定义 的 符号 。 为 了 让 这 种 
机 制 能 正确 运作 ，C++ 要 求 代 码 满足 一 次 定义 原则 (ODR) ， 否 则 代 
码 的 行为 是 随机 的 ， 视 linker 心 情 好 坏 而 定 。 


以 下 分 别 简要 谈 谈 这 两 方面 对 编程 的 影响 。 
10.3.1 ”函数 重 载 


众所周知 ， 为 了 实现 函数 重 载 ，C++ 编 译 器 普遍 采用 名 字 改 编 
(name mangling) 的 办 法 s， 为 每 个 重 载 遂 数 生成 独一无二 的 名 字 ， 这 
样 在 链接 的 时 候 就 能 找到 正确 的 重 载 版 本 。 比 如 foo.cc 里 定义 了 两 个 
foo() 重 载 汤 类 


// foo.cc 
int foo(bool x) 


return 42; 


} 
int foo(int x) 


return 100;,; 


} 


$ gtt -Cc foo0ce 

$ nm foo.o # foo.o 定义 了 两 个 external linkage 函数 
0000000000000000 T _Z3foob 

0000000000000010 T _Z3fooi 

$ c++filt _Z3foob _Z3fooi  # unmangle 这 两 个 函数 名 

foo(bool) # 注意 ，mangled name 里 没有 返回 类 型 
foo(int) 


注意 普通 non-template 国 数 的 mangled name 不 包含 返回 类 型 。 记 得 
吗 ， 返 回 类 型 不 参与 轴 数 重 载 。 

这 其 实 有 一 个 小 小 的 隐患 ， 也 是 “C++ 典型 缺陷 ”的 一 个 体现 。 
一 个 源 文 件 用 到 了 重 载 遂 数 ， 但 它 看 到 的 水 数 原 型 声明 的 返回 类 
错 的 (违反 了 ODR) ， 链 接 器 无 法 捕捉 这 样 的 错误 。 


// main.cc 


void foo(bool); # 返回 类 型 错误 地 写成 了 void 
int main() 
foo(true); 
， 
$ g++ -Cc main.cc 
$ nm main.o # 目标 文件 依赖 _Z3foob 这 个 符号 


U _Z3foob 
0000000000000000 T main 


$ g++ main.o foo.o # 能 正常 生成 ./a.out 


对 于 内 置 类 型 ， 这 应 该 不 会 造成 实际 的 影响 。 但 是 如 果 返 回 类 型 
是 dass， 那 么 就 天 晓得 会 发 生 什么 了 。 


10.3.2 _ inline 函数 


inline 孙 数 的 方方面面 见 人 EC3] 第 30 条 。 由 于 inline 国 数 的 关系 ， 
C++ 源 代码 里 调用 一 个 水 数 并 不 意味 着 生成 的 目标 代码 里 也 会 做 一 次 真 
正 的 函数 调用 (可 能 看 不 到 call 指 令 ) 。 现 在 的 编译 器 聪明 到 可 以 自动 
判断 一 个 函数 是 否 适 合 inline， 因 此 inline 关 键 字 在 源 文件 中 往往 不 是 必 
需 的 。 当 然 ， 在 头 文件 里 inline 还 是 要 的 ， 为 了 防止 链接 器 抱怨 重复 定 
义 (multiple definition) 。 现 在 的 C++ 编译 器 采用 重复 代码 消除 2 的 办 
法 来 避免 重复 定义 。 也 就 是 说 ， 如 果 编 译 器 无 法 inline 展 开 的 话 ， 每 个 
编译 单元 都 会 生成 inline 国 数 的 目标 代码 ， 然 后 链接 器 会 从 多 份 实现 中 
任 选 一 份 保留 ， 其 余 的 则 丢弃 (vague linkage) 。 如 果 编 译 器 能 够 展开 
inline 了 为数， 那 就 不 必 单 独 为 之 生成 目标 代码 了 《除非 使 用 函数 指针 指 
向 它 ) 。 

如 何 判断 一 个 C++ 可 执行 文件 是 debug build 还 是 release build? 换 言 
之 ， 如 何 判 断 一 个 可 执行 文件 是 -O00 编译 还 是 -O02 编译 ? 我 通常 的 做 法 
是 看 class template 的 短 成 员 函 数 有 没有 被 inline 展 开 。 例 如 : 


// vec.cc 
#include <vector> 
#include <stdio.h> 


int main() 


{ 

std: :vector<int> vi; 

printf("%zd\n"，vi.size()); # 这 里 调用 了 inline 函数 size() 
} 


$ g++ -Wall vec.cc # non-optimized build 

$ nm ./a.out |grep size|c++filt 

00000000004007ac W std::vector<int, std::allocator<int> >::size() const 
// vector<int>: :size() 没有 inline 展开 ， 目 标 文件 中 出 现 了 函数 ( 弱 ) 定义 。 


$ g++ -Wall -02 vec.cc # optimized build 
$ nm ./a.out |grep Size|c++filt 
// 没有 输出 ， 因 为 vector<int>: :size() 被 inline 展开 了 。 


注意 ， 编 译 器 为 我 们 自动 生成 的 class 析 构图 数 也 是 inline 国 数 ， 有 
时 候 我 们 要 故意 out-line， 防 止 代码 膨胀 或 出 现 编译 错误 。 以 下 Printer 是 
依据 后 面 $S11.4 介 绍 的 pimpl 手 法 实现 的 公开 class。 这 个 class 的 头 文件 完 
全 没有 暴露 Impl class 的 任何 细节 ， 只 用 到 了 前 向 声明 。 并 且 有 意 地 把 
构造 函数 和 析 构 函数 也 显 式 声明 了 。 


printerh 
#include <boost/Vscoped_ptr.hpp> 
class Printer // : boost::noncopyable 
{ 
public: 
Printer(); 
~Printer(); // make it out-line 
// other member functions 
private: 
class Impl; // forward declaration only 
boost: :scoped_ptr<Impl> impl_; 
}; 
printer.h 


在 源 文 件 中 ， 我 们 可 以 从 容 地 先 定义 Printer::Impl， 然 后 再 定义 
Printer 的 构造 遂 数 和 析 构 水 数 。 


printerCC 
#include “printer.h” 


class Printer::Impl 
// members 
让 
Printer: :Printer() Ne 
: impl_(new Impl) // 现在 编译 器 看 到 了 Impl 的 定义 ， 这 句 话 能 编译 通过 。 
{Ea 


Printer::~Printer() // 尽管 析 构 函数 是 空 的 ， 也 必须 放 到 这 里 来 定义 。 否 则 编译 器 
// 在 将 隐 式 声明 的 ~Printer() inline 展开 的 时 候 无 法 看 到 
} // Impl::~Impl() 的 声明 ， 会 报错 。 见 boost::checked_delete 
printer.cc 


在 现代 的 C++ 系统 中 ， 编 译 和 链接 的 界限 更 加 模糊 了 。 传 统 C++ 教 
材 告诉 我 们 ， 要 想 编译 器 能 够 inline 一 个 图 数 ， 那 么 这 个 函数 体 必 须 在 
当前 编译 单元 可 见 。 因 此 我 们 通常 把 公共 inline 孙 数 放 到 头 文件 中 。 现 
在 有 了 link time code generation“， 编 译 器 不 需要 看 到 inline 崩 数 的 定 
义 ，inline 展 开 可 以 留 给 链接 器 去 做 。 

除了 inline 函 数 ，g++ 还 有 大 量 的 内 置 图 数 (built-in function) 2， 
此 源 代 码 中 出 现 memcpy、memset、strlen、sin、exp 之 类 的 “函数 调 
用 不 一 定 真 的 会 调用 libc 里 的 库 函 数 。 另 外 ， 由 于 编译 器 知道 这 些 函 
数 的 功能 ， 因 此 优化 起 来 更 充分 。 例 如 muduo 日 志 库 就 使 用 了 内 置 
strchr() 遂 数 在 编译 期 求 出 文件 的 basename。 

有 意思 的 是 ， 编 译 器 如 何 处 理 inline 函 数 中 的 static 变 量 ? 这 个 留 给 
有 兴趣 的 读者 去 探究 吧 。 


10.3.3 ”模板 
C++ 模板 包括 函数 模板 和 类 模板 ， 与 链接 相关 的 话题 包括 : 


函数 定义 ， 包 括 具 现 化 后 的 阔 数 模板 、 类 模板 的 成 员 函 效 、 类 模 
板 的 静态 成 员 函 数 等 。 

-变量 定义 ， 包 括 函 数 模板 的 静态 数据 变量 、 类 模板 的 静态 数据 成 
员 、 类 模板 的 全 局 对 象 等 。 


模板 编译 链接 的 不 同 之 处 在 于 ， 以 上 具有 external linkage 的 对 象 通 
常会 在 多 个 编译 单元 被 定义 。 链 接 器 必须 进行 重复 代码 消除 >， 才能 
确 生 成 可 执行 文件 。 


template 和 inline 国 数 会 不 会 导致 代码 膨胀 


假设 有 一 个 定 长 Buffer 类 ， 其 内 置 buffer 长 度 是 在 编译 期 确定 的 ， 
我 们 可 以 把 它 实 现 为 非 类 型 类 模板 : (完整 代码 见 
muduo/base/LogStream.h 中 的 FixedBuffer class) 


template<int Size> 
class Buffer 


public: 
Buffer() : index_(0) {} 


void append(const voidx data, int len) 


: :memcpy(buffer_+index_, data, len); 
index_ += len; 


} 


void clear() { index_ = 0; } 
// other members 


private: | 
char buffer_[Size]: // Size 是 模板 参数 
int index_; 
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在 代码 中 使 用 了 Buffer<256> 和 Buffer<1024> 两 份 具 现 体 : 


int main() 


{ 
Buffer<256> b1 ; 
b1.append("hello"，5); // Buffer<256>: :append() 
b1.clear(); // Buffer<256>::clear() 
Buffer<1024> b2; 
b2.append("template"”", 8); // Buffer<1024>::append() 
b2.clear(); // Buffer<1024>: :clear() 

和 


按照 C++ 模 板 的 具 现 化 规则 ， 编 译 器 会 为 每 一 个 用 到 的 类 模板 成 员 
水 数 具 现 化 一 份 实体 。 


$ g++ buffer.cc 
$ nm a.out 


00400748 W _ZN6BufferILi1024EE5clearEv # Buffer<1024>: :clear() 

004006f2 W _ZN6BufferILi1024EE6appendEPKvi # Buffer<1024>: :append(void const*, int) 
004006da W _ZN6BufferILi1024EEC1Ev # Buffer<1024>: :Buffer() 

004006c2 W _ZN6BufferILi256EE5clearEv # Buffer<256>: :clear() 

0040066c W _ZN6BufferILi256EE6appendEPKvi  # Buffer<256>::append(void const*, int) 
00400654 W _ZN6BufferILi256EEC1Ev # Buffer<256>: :Buffer() 


这 样 看 来 真 的 造成 了 代码 膨胀 ， 但 实际 情况 并 不 一 定 如 此 ， 如 果 
我 们 用 -O2 编 译 一 下 ， 会 发 现 编译 器 把 这 些 短 函数 都 inline 展开 了 。 
$ g++ -02 buffer .cc 
$ nm a.out |c++filt |grep Buffer 
# 没有 输出 ，Buffer 的 成 员 函 数 都 被 inline 展开 了 ， 没 有 生成 函数 定义 。 
如 果 我 们 想 限 制 模板 的 具 现 化 ， 比 方 说 限制 Buffer 只 能 有 64、 
256、1024、4096 这 几 个 长 度 ， 除 了 可 以 用 static_assert 来 制造 编译 期 错 
误 ， 还 可 以 用 下 面 这 个 只 声明 、 不 定义 的 办 法 来 制造 链接 错误 。 
一 般 的 C++ 教材 会 告诉 你 ， 模 板 的 定义 要 放 到 头 文 件 中 ， 否 则 会 有 
编译 错误 。 如 果 读 者 足够 细心 ， 会 发 现 其实 所 谓 的 “编译 错误 ”是 链接 
错误 。 例 如 


// main.cc 
template<typename T> 
void foo(const T&); // 只 声明 而 没有 定义 


template<typename T> | 
T bar(const T&); // 只 声明 而 没有 定义 


int main() 
{ 
foo(0); 
foo(1.0); 
barlttee ys 
} 


$ g++ main.cc # 注意 是 链接 器 报错 ， 不 是 编译 器 报错 

/tmp/cc5SKd58.0: In function ‘main’: 

main.cc:(.text+0x17): undefined reference to “void foo<int>(int const&) 
main.cc:(.text+0x31): undefined reference to “void foo<double>(double const&) 
main.cc:(.text+0x41): undefined reference to ‘char bar<char>(char const&) 
collect2: ld returned 1 exit status 


那么 有 办 法 把 模板 的 实现 放 到 库 里 ， 头 文件 里 只 放声 明 吗 ? 其 实 
是 可 以 的 ， 前 提 是 你 知道 模板 会 有 哪些 具 现 化 类 型 ， 并 事先 显 式 (或 
隐 式 ) 具 现 化 出 来 。 


$ g++ -Cc main.cc # 可 以 单独 编译 为 目标 文件 
$ nm main.o # 目标 文件 里 引用 了 未 定义 的 模板 函数 ， 
# 注意 这 次 函数 mangled name 包含 返回 类 型 
U _Z3barIcET_RKSO_ # char bar<char>(char const&) 
U _Z3fooIdEvRKT_ # void foo<double>(double const&) 
U _Z3fooIiEvRKT_ # void foo<int>(int const&) 
0000000000000060 T main 


// foobar .cc 
template<typename T> 
void foo(const T&) 

{ 

， 


template<typename T> 
T bar(const T& x) 
* 


return X; 
} 
template void foo(const int&): # 显 式 具 现 化 
template void foo(const double&); # 如 果 漏 了 这 几 行 ， 仍 然 会 有 链接 错误 。 


template char bar(const char&) ; 


$ g++ -C foobar .cc 

$ nm foobar.o # foobar.o 包含 模板 函数 的 定义 
0000000000000000 W _Z3barIcET_RKSO_ 

0000000000000000 W _Z3fooIdEvRKT_ 

0000000000000000 W _Z3fooIiEvRKT_ 


$ g++ main.o foobar.o # te a.out 


对 于 通用 (universal) 的 模板 库 ， 这 个 办 法 是 行 不 通 的 ， 因 为 你 不 
能 事先 知道 客户 会 用 哪些 参 se 的 模板 (比方 说 
vector<T> 和 shared_ptr<T>) 。 但 是 对 于 某 些 特殊 情况 ， 这 可 以 减少 代 
码 脱 胀 ， 比 方 说 把 Buffer<int> 的 构造 水 数 从 头 文件 移 到 某 个 源 文件 ， 并 
且 只 具 现 化 几 个 固定 的 长 度 ， 这 样 防止 客户 代码 任意 具 现 化 Buffer 模 
板 。 
对 于 private 成 员 函 数 模板 ， 我 们 也 不 用 在 头 文件 中 给 出 定义 ， 因 为 
用 户 代 码 不 能 调用 它 ， 也 就 无 法 随意 具 现 化 它 ， 所 以 不 会 造成 链接 错 
误 。 考 虑 下 面 这 个 多 功能 打印 机 的 例子 ，Printer 既 能 打印 ， 也 能 扫描。 
PrintRequest 和 ScanRequest 都 是 由 代码 生成 器 生成 的 class， 它 们 有 一 些 
共同 的 成 员 ， 但 是 没有 共同 的 基 类 


class PrintRequest 


public: 


int getUserId() const { return UserId_; } 


// other members 
private: 
int USerId_; 


}; 


class ScanRequest 


{ 
public: 


int getUserId() const { return userId_; } 


// other members 
private: 
int USerId_; 


}; 


Request.h 


Request.h 


我 们 写 一 个 Printer class， 能 同时 处 理 这 两 种 请 求 ， 为 了 避免 代码 


重复 ， 我 们 打算 用 一 个 函数 模板 来 解析 redquest 的 公共 部 分 。 


class PrintRequest ; 
class ScanRequest; 


class Printer : boost::noncopyable // 注意 Printer 不 是 模板 


{ 

public: 
void onRequest(const PrintRequest&); 
void onRequest(const ScanRequest&); 


private: 
template<typename REQ> 
void decodeRequest(const REQ&); 


void processRequest(); 


int currentRequestUserId_; 
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Printer.h 


Printer.h 


这 个 decodeRequest 是 模板 ， 但 不 必 把 实现 暴露 在 头 文件 中 ， 因 为 
只 有 onRequest 会 调用 它 。 我 们 可 以 把 这 个 成 员 函 数 模板 的 实现 放 到 源 
文件 中 。 这 样 的 好 处 之 一 是 Printer 的 用 户 看 不 到 decodeRequest 焉 数 模板 


的 定义 ， 可 以 加 快 编译 速度 。 


Printer.cc 
#include "Printer.h” 
#include “Request.h” 


template<typename REQ> 
void Printer::decodeRequest(const REQ& req) 
{ 
currentRequestUserId_ = req.getUserId(); 
// decode other parts 
} 


// 现在 编译 器 能 看 到 decodeRequest 的 定义 ， 也 就 能 自动 具 现 化 它 
void Printer::onRequest(const PrintRequest& req) 


decodeRequest (req); 
processRequest(); 


} 
void Printer::onRequest(const ScanRequest& req) 


decodeRequest(req) ; 
processRequest(); 


有 


Printer.cc 


前 面 展示 的 几 种 template 用 法 一 般 不 会 用 在 通用 的 模板 库 中 ， 因 此 
很 少 有 书籍 或 文章 谈 到 它们 。 在 编写 应 用 程序 的 时 候 适 当 使 用 模板 能 
减少 重复 劳动 ， 降 低 出 错 的 可 能 ， 值 得 了 解 一 下 。 

另外 ，C++11 新 增 了 externtemplate 特 性 ， 可 以 阻止 隐 式 模板 具 现 
化 。g++ 很 早 就 支持 这 个 特性 ，g++ 的 C++ 标准 库 就 使 用 了 这 个 办 法 ， 
使 得 使 用 std::string 和 std::iostream 的 代码 不 受 代码 膨胀 之 苦 。 


A 035C6 
#include <iostream> 
#include <string> 


using namespace std; 


int main() // 用 到 了 iostream 和 string 两 个 大 模板 
{ 

string name; 

cin >> name; 


cout << "Hello, " << name << "\n"; 

} 
$ g++ ios.cc 
$ size a.out # 生成 的 可 执行 文件 很 小 

text data bss dec hex filename 

2900 648 584 4132 1024 a.out 
$ nm a.out |grep ’ [TW] ' # 仔细 看 目标 文件 ， 并 没有 具 现 化 那些 巨大 的 类 模板 
0000000000400c20 T __libc_csu_fini 
0000000000400c30 T __libc_csu_init 
0000000000400cf8 T _fini 
0000000000400958 T _init 
0000000000400a50 T _start 
0000000000601288 W data_start 
0000000000400b34 T main 
$nm a.out |grep -o 'U .x # 而 是 引用 了 标准 库 中 的 实现 
U _ZNSsC1Ev@@GLIBCXX_3.4 ”# 这 两 个 是 string 的 构造 函数 与 析 构 函数 


U _ZNSsD1Ev@@GLIBCXX_3.4 

U _ZNSt8ios_base4InitC1lEv@@GLIBCXX_3.4 

U _ZNSt8ios_base4InitDIEv@@GLIBCXX_3.4 

U _ZStlsISt11char_traitsIcEERSt13basic_ostreamIcT_ES5_PKc # 这 三 个 是 输入 输出 操作 符 
U ee de ee en he ay hi 

U _ZStrsIcSt11char_traitsIcESaICEERSt13basic_istreamIT_TO_ES7_RSbIS4_S5_T1_E 


这 或 许 能 帮助 让 | 2 7 尺 惧 吧 。 
10.3.4 “” 虚 函 数 


在 现在 的 C++ 实现 中 ， 虚 函数 的 动态 调用 〈 动 态 绑 定 、 运 行 期 决 
议 ) 是 通过 虚 函 数 表 (vtable) 进行 的 ， 每 个 多 态 class 都 应 该 有 一 份 
vtable。 定 义 或 继承 了 虚 函 数 的 对 象 中 会 有 一 个 隐 含 成 员 : 指向 vtable 
的 指针 ， 即 vptr。 在 构造 和 析 构 对 象 的 时 候 ， 编 译 器 生成 的 代码 会 修改 
这 个 vptr 成 员 ， 这 就 要 用 到 vtable 的 定义 〈 使 用 其 地 址 ) 。 因 此 我 们 有 
时 看 到 的 链接 错误 不 是 抱怨 找 不 到 某 个 虚 孙 数 的 定义 ， 而 是 找 不 到 虚 
水 数 表 的 定义 。 例 如 : 


7 RE 
class Base 


{ 

public: 

virtual ~Base(); 
virtual void doIlt():; 


}); 


int main() 

{ 
Basex b = new Base:; 
b->doIt(); 


} 


ETA Virtsee 

/tmpycc8Q7qki.o: In function ‘Base::Base()': 

virt.cc:(.text._ZN4BaseClEv[Base: :Base()]+0xf): 
undefined reference to ‘vtable for Base’ 

collect2: ld returned 1 exit status 


出 现 这 种 错误 的 根本 原因 是 程序 中 某 个 虚 函 数 没 有 定义 ， 知 道 了 
这 个 方向 ， 查 找 问题 就 不 难 了 。 

另外 ， 按 道理 说 ， 一 个 多 态 class 的 vtable 应 该 恰好 被 某 一 个 目标 文 
件 定 义 ， 这 样 链接 就 不 会 有 错 。 但 是 C++ 编译 器 有 时 无 法 判断 是 否 应 该 
在 当前 编译 单元 生成 vtable 定 义 &， 为 了 保险 起 见 ， 只 能 每 个 编译 单元 
都 生成 vtable， 交 给 链接 器 去 消除 重复 数据 s。 有 时 我 们 不 希望 vtable 导 
致 目 标 文件 膨胀 ， 可 以 在 头 文 件 的 class 定 义 中 声明 out-line 虚 函数 s。 


10.4 ”工程 项 目 中 头 文件 的 使 用 规则 


既然 短 时 间 内 C++ 还 无 法 舞 脱 头 文件 和 预 处 理 ， 因 此 我 们 要 深入 理 
解 可 能 存在 的 陷阱 。 在 实际 项 目 中 ， 有 必要 规范 头 文 件 和 预 处 理 的 用 
法 ， 避 免 它们 的 危害 。 一 旦 为 了 使 用 某 个 struct 或 者 某 个 库 阔 数 而 包含 
了 一 个 头 文件 ， 那 么 这 个 头 文件 中 定义 的 其 他 名 字 (struct、 逊 数 、 
宏 ) 也 被 引入 当前 编译 单元 ， 有 可 能 制造 麻烦 。 


10.4.1 ” 头 文件 的 害处 
我 认为 头 文件 的 害处 主要 体现 在 以 下 几 方 面 : 


.传递 性 。 头 文件 可 以 再 包含 其 他 头 文 件 。 前 面 已 经 举 过 例子 ， 一 
个 简单 的 #include <complex> 展 开 之 后 有 两 万 多 行 代码 ， 一 方面 造成 编 


译 所 有 直接 或 间接 包含 它 的 源 文 件 。 因 为 build tool 无 法 有 效 判断 这 个 改 
动 是 否 会 影响 程序 语义 ， 保 守 起 见 只 能 把 受 影响 的 源 文 件 全 部 重新 编 
译 一 遍 。 因 此 ， 合 理 组 织 源 代码 ， 减 少 开发 时 rebuild 的 成 本 是 每 个 稍 具 
规模 项 目的 必 做 功课 。 

顺序 性 。 一 个 源 文件 可 以 包含 多 个 头 文件 。 如 果 头 文件 内 容 组 织 
不 当 ， 会 造成 程序 的 语义 跟头 文件 包含 的 顺序 有 关 ， 也 跟 是 否 包含 某 
一 个 头 文 件 有 关 s。 通 常 的 做 法 是 把 头 文 件 分 为 几 类 2， 然 后 分 别 按 顺 
序 包含 这 几 类 头 文 件 s， 相 同类 的 头 文件 按 文件 名 的 字母 排序 。 这 样 一 
方面 产 代码 比较 整洁 ， 另 一 方面 如 果 两 个 人 同时 修改 源码 ， 各 自 想 多 
包含 一 个 头 文 件 ， 那 么 造成 冲突 的 可 能 性 较 小 。 一 般 应 该 避免 每 次 在 
#include 列 表 的 末尾 添加 新 的 头 文 件 ， 这 样 很 快 代码 的 依赖 关系 就 无 法 
管理 了 。 

差异 性 。 内 容 差异 造成 不 同 产 文件 看 到 的 头 文件 不 一 致 ， 时 间 差 
异 造成 头 文件 与 库 文 件 内 容 不 一 致 。 例 如 812.7 提 到 不 同 的 编译 选项 会 
造成 Visual C++ std::string 的 大 小 不 一 样 。 也 就 是 说 <string> 头 文件 的 内 
容 经 过 预 处 理 后 会 有 变化 ， 如 果 两 个 源 文件 编译 时 的 宏 定义 选项 不 一 
致 ， 可 能 造成 二 进 制 代码 不 兼容 。 这 说 明 整 个 程序 应 该 用 统一 的 编译 
选项 s。 如 果 程序 用 到 了 第 三 方 静态 库 或 者 动态 库 ， 除 了 拿 到 头 文件 和 
库 文件 ， 我 们 还 要 拿 到 当时 编译 这 个 库 的 编译 选项 ， 才 能 安全 无 误 地 
使 用 这 个 程序 库 。 如 果 程 序 用 到 了 两 个 库 ， 但 是 它们 的 编译 选项 有 冲 
突 ， 那 麻烦 就 大 了 ， 后 面谈 库 文 件 组 织 的 时 候 再 来 说 这 个 问题 和 时 间 
差异 的 问题 。 


反观 现代 的 编程 语言 ， 它 们 比 C++ 的 历史 包 罕 轻 多 了 ， 模 块 化 做 得 
也 比较 好 。 模 块 化 的 做 法 主要 有 两 种 : 


.对 于 解释 型 语言 ，import 的 时 候 直接 把 对 应 模块 的 源 文 件 解析 
(parse) 一 遍 (不 再 是 简单 地 把 源 文件 包含 进来 ) 。 

:对 于 编译 型 语言 ， 编 译 出 来 的 目标 文件 (例如 Java 的 .class 文 件 ) 
里 直接 包含 了 足够 的 元 数据 ，import 的 时 候 只 需要 读 目标 文件 的 内 容 ， 
不 需要 读 源 文件 。 


这 两 种 做 法 都 避免 了 声明 与 定义 不 一 致 的 问题 ， 因 为 在 这 些 语言 
里 声明 与 定义 是 一 体 的 。 同 时 这 种 import 手 法 也 不 会 引入 不 想 要 的 名 
字 ， 大 大 简化 了 名 字 查 找 的 负担 (无论 是 人 脑 还 是 编译 器 ) ， 也 不 用 
担心 import 的 顺序 不 同 造成 代码 功能 变化 。 


10.4.2 ” 头 文件 的 使 用 规则 


几乎 每 个 C++ 编程 规范 都 会 涉及 头 文 件 的 组 织 。 归 纳 起 来 观点 如 
下 : 


“将 文件 间 的 编译 依赖 降 至 最 小 。 ”ee “*" 

“将 定义 式 之 间 的 依赖 关系 降 至 最 小 。 避 免 循 环 依赖 。 ”ce 2” 

“让 class 名 字 、 头 文件 名 字 、 源 文件 名 字 直 接 相 关 。”2 这 样 方便 源 
代码 的 定位 。muduo 源 码 遵 循 这 一 原则 ， 例 如 TcpClient class 的 头 文 件 
是 TcpClient.h ， 其 成 员 函 数 定义 在 TcpClient'cc 。 

“念头 文件 自给 自足 。 ”ce so 例如 要 使 用 muduo 的 TcpServer， 可 
以 直接 包含 TcpServerh 。 为 了 验证 TcpServerh 的 自足 性 (self- 
contained) ，TcpServercc 第 一 个 包含 的 头 文件 就 是 它 。 

…“ 总 是 在 头 文 件 内 写 内 部 区 nclude guard ( 护 套 ) ， 不 要 在 源 文件 写 
外 部 护 套 。”ee* sw 这 是 因为 现在 的 预 处 理 对 这 种 通用 做 法 有 特别 的 优 
化 ，GNU cpp 在 第 二 次 ##include 同 一 个 头 文件 时 甚至 不 会 去 读 这 个 文 
件 ， 而 是 直接 跳 过 >。 


:#include guard 用 的 宏 的 名 字 应 该 包含 文件 的 路 径 全 名 (从 版 本 管 
理 器 的 角度 ) ， 必 要 的 话 还 要 加 上 项 目 名 称 (如 果 每 个 项 目 有 自己 的 
代码 仓库 ) 2。 

如果 编写 程序 库 ， 那 么 公开 的 头 文件 应 该 表达 模块 的 接口 *， 必 要 
的 时 候 可 以 把 实现 细节 放 到 内 部 头 文件 中 。muduo 的 头 文件 满足 这 条 规 
则 。 


遵循 以 上 规则 ， 作 为 应 用 程序 的 作者 ， 一 般 就 不 会 遇 到 跟头 文 件 
和 预 处 理 相 关 的 诡异 问题 。 这 里 介绍 一 个 查找 头 文 件 包 含 途径 的 小 技 
15。 上 比方 说 有 一 个 程序 只 包含 了 <iostream>， 但 是 却 能 使 用 std::string， 
我 想 知道 <string> 是 如 何 被 引入 的 。 办 法 是 在 当前 目录 创建 一 个 string 文 
件 ， 然 后 制造 编译 错误 ， 步 又 如 下 : 


// hello.cc 
#include <iostream> 


int main() 


std::string s = "muduo"; // 奇怪 ， 明 明 没 有 包含 <string> 却 能 使 用 std: :string 


$ cat > string // 创建 一 个 只 有 一 行内 容 的 string 文件 
#error error 
了 


$ g++ -M -I . hello.cc // 用 gt+ 帮 有 我 们 查 出 包含 途径 ， 原 来 是 locale_classes.h 二 的 
In file included from /usr/include/c++/4.4/bits/locale_classes.h:42, 

from /usr/include/c++/4.4/bits/ios_base.h:43, 

from /usr/include/c++/4.4/ios:43, 

from /usr/include/c++/4.4/0stream: 40, 

from /usr/include/c++/4.4/iostream:40, 

from hello.cc:1: 
./string:1:2: error: #error error 


下 面 我 们 谈 谈 在 编写 和 使 用 库 的 时 候 应 该 注意 些 什么 。 


10.5 ”工程 项 目 中 库 文件 的 组 织 原则 


考虑 一 个 稍 具 规 模 的 公司 ， 有 一 个 基础 库 团 队 ， 开 发 并 维护 公司 
的 公共 C++ 网 络 库 net; 还 有 一 个 团队 开发 了 一 套 消 息 中 间 件 ， 并 提供 
了 一 个 客户 端 库 hub，hub 是 基于 net 构 建 的 ; 最近 公司 又 有 另外 一 个 团 
队 开 发 了 一 套 存 储 系统 ， 并 提供 了 一 个 客户 端 库 cab ，cab 也 是 基于 net 
构建 的 。 公 司 内 部 开发 的 服务 端 程序 可 能 会 用 到 这 些 库 的 一 个 或 几 
个 ， 本 节 主 要 讨论 如 何 组 织 这 些 由 不 同 团队 开发 的 库 与 应 用 程序 。 

在 谈 具 体 的 C++ 库 文 件 的 组 织 之 前 ， 先 谈 一 谈 更 基本 的 话题 : 依赖 
管理 。 

假设 你 负责 实现 并 维护 一 个 关键 的 网 络 服务 程序 app， 经 过 充分 测 
试 之 后 ，app 1.0 上 线 运行 ， 一 切 顺 利 。app 1.0 用 到 了 网 络 库 (net 1.0) 
和 消息 中 间 件 的 客户 端 库 (hub 1.0) ， 并 且 hub 1.0 本 身 也 用 到 了 net 
1.0， 依 赖 关 系 如 图 10-3 所 示 。 


图 10-3 


尽管 在 发 布 之 前 QA 人 员 sign-off 的 是 app 1.0， 但 是 我 们 应 该 认为 他 
们 sign-off 的 是 app 1.0 和 它 依赖 的 所 有 库 构 成 的 bundle。 因 为 app 的 行为 
跟 它 用 到 的 库 有 关 ， 如 果 改 变 其 中 任何 的 一 个 库 ，app 的 行为 都 可 能 发 
生变 化 (尽管 app 的 源码 和 可 执行 文件 一 个 字 节 都 没 动 ) ， 也 就 可 能 跟 
当时 充分 测试 通过 的 “app 1.0” 行 为 不 一 致 。 

周 伟 明 老师 在 《软件 测试 实践 》 的 第 1.7.2 节 “COM 的 可 测试 性 分 
析 ” 中 明确 表示 ，COM“ 违 反 了 软件 设计 的 基本 原理 ”， 其 理由 是 : 


我 们 假设 一 个 软件 包含 n 个 不 同 的 COM 组 件 ， 按 照 COM 的 设计 思 
想 ， 每 个 组 件 都 是 可 以 替换 的 。 假 设 每 个 组 件 都 有 知 干 个 不 同 的 版 
本 ， 记 为 分 别 有 M1 ，M, ，...，M 个 不 同 的 版 本 ， 那 么 组 成 整个 软件 
的 所 有 组 件 的 组 合 关系 有 M1 xM, x...xM, 种 ， 等 于 这 个 软件 共有 


11;_1 Mi 种 二 进 制版 本 。 如 果 要 将 测试 做 得 充分 ， 这 些 组 合 全 部 都 需 
要 进行 测试 ， 否 则 很 难保 证 没 测 试 到 的 组 合 不 会 有 问题 。 


这 至 少 从 理论 上 说 明 ， 改 动 程序 本 身 或 它 依赖 的 库 之 后 应 该 重新 
测试 ， 否 则 测试 通过 的 版 本 和 实际 运行 的 版 本 根本 就 是 两 个 东西 。 一 
旦 出 了 问题 ， 责 任 就 难 理 清 了 。 

这 个 问题 对 于 C++ 之 外 的 语言 也 同样 存在 ， 我 认为 凡是 可 以 在 编译 
之 后 替换 库 的 语言 都 需要 考虑 类 似 的 问题 2。 对 于 脚本 语言 来 说 ， 除 了 
库 之 外 ， 解 释 器 的 版 本 (Python2.5/2.6/2.7) 也 会 影响 程序 的 行为 ， 
此 有 Pythonvirtualenv 和 Rubyrbenv 这 样 的 工具 ， 人 允许 一 台 机 器 同时 安装 
多 个 解释 器 版 本 。Java 程 序 的 行为 除了 跟 class path 里 的 那些 jar 文 件 有 
关 ， 也 跟 ]VM 的 版 本 有 关 ， 通 常 我 们 不 能 在 没有 充分 测试 的 情况 下 升 
级 JVM 的 大 版 本 (从 1.5 到 1.6) 。 

除了 库 和 运行 环境 ， 还 有 一 种 依赖 是 对 外 部 进程 的 依赖 ， 例 如 app 
程序 依赖 某 些 数据 源 《运行 在 别 的 机 器 上 的 进程 ) ， 会 在 运行 的 时 候 
通过 某 种 网 络 协议 从 这 些 数据 源 定期 或 不 定期 读 取 数 据 。 数 据 源 可 能 
会 升级 ， 其 行为 也 可 能 变化 ， 如 何 管理 这 种 依赖 就 超出 本 节 的 荡 围 
可 

回 到 C++， 首 先 谈 编译 器 版 本 之 间 的 兼容 性 。 截 至 g++ 4.4，Linux 
目前 已 有 四 个 互 不 兼容 的 ABI* 版 本 ， 编 译 出 来 的 库 互 不 通用 : 


.gcc 3.0 之 前 的 版 本 ， 例 如 2.95.3 
。 gCC 3.0/3.1 到 
。 gCC 3.2/3.37 
. gCC 3.4 人 人 .43 


人 山 启 请 


现在 看 来 ， 这 其 实 影响 不 大 ， 因 为 估计 没有 谁 还 在 用 g++ 3.x 来 编 
译 新 的 代码 。 

另外 一 个 需要 考虑 的 是 C++ 标 准 库 (libstdc++) 的 版 本 与 C 标 准 库 
(glibc) 的 版 本 。C++ 标 准 库 的 版 本 跟 C++ 编 译 器 直接 关联 *， 我 想 一 


般 不 会 有 人 去 替换 系统 的 libstdc++。C 标 准 库 的 版 本 跟 Linux 操 作 系统 的 
版 本 直接 相关 ， 见 表 10-1。 一 般 也 不 会 有 人 单独 升级 glibc， 因 为 这 基本 
上 意味 着 需要 重新 编译 用 户 态 的 所 有 代码 。 另 外 ， 为 了 稳妥 起 见 ， 通 
常 建议 用 Linux 发 行 版 自 带 的 那个 gcc 版 本 来 编译 你 的 代码 。 因 为 这 个 版 
本 的 gcc 是 Linux 发 行 版 主要 支持 的 编译 器 版 本 ， 当 前 kemel 和 用 户 态 的 
其 他 程序 也 基本 是 它 编译 的 ， 如 果 它 有 什么 问题 的 话 ， 早 就 被 人 发 现 
了 。 

根据 以 上 分 析 ， 一 旦 选 定 了 生产 环境 中 操作 系统 的 版 本 ， 另 外 三 
样 东 西 的 版 本 就 确定 了 。 我 们 暂且 认为 生产 环境 中 运行 app 1.0 的 机 器 
的 Linux 操 作 系 统 版 本 、libstdc++ 版 本 、glibc 版 本 是 统一 的 *， 而 且 
C++ 应 用 程序 和 库 的 代码 都 是 用 操作 系统 原生 的 g++ 来 编译 的 。 表 10-1 
列 出 了 几 大 主流 Linux 发 行 版 的 版 本 配置 。 


表 10-1 

Distro Kernel gcc glibc 
RHEL 6 2.6.32 4.4.6 2.12 
RHEL 5 2.6.18 4.1.2 2.5 
RHEL 4 2.6.9 3.4.6 2.3.4 
Debian 6.0 2632 4445 2112 
Debian 5.0 2.6.26 49392 27 
Debian 4.0 2.6.18 4.1.1 2.3.6 


Ubuntu 10.04 LIS 2.6.32 4.4.3 2.11.1 
Ubuntu 8.04 LIS 2.6.24 人 wy 
Ubuntu 6.04 LIS 2.6.15 4.0.3 2.3.6 


这 样 一 来 ， 我 们 就 可 以 在 C++ 编译 器 版 本 、C++ 标 准 库 版 本 、C 标 


准 库 版 本 均 固定 的 情况 下 来 讨论 应 用 程序 与 库 的 组 织 s。 进 一 步 说 ， 这 
里 讨论 的 是 公司 内 部 实现 的 库 ， 而 不 是 操作 系统 自 寓 的 编译 好 的 库 


(libz、1libssl、1libcurl 等 等 ) 。 后 面 这 些 库 可 以 通过 操作 系统 的 package 
管理 机 制 来 统一 部 署 ， 确 保 每 台 机 器 的 环境 相同 。 

Linux 的 共享 库 (shared library) 比 Windows 的 动态 链接 库 在 C++ 编 
程 方面 要 好 用 得 多 ， 对 应 用 程序 来 说 基本 可 算是 透明 的 ， 跟 使 用 静态 
库 无 区 别 。 主 要 体现 在 : 


一 致 的 内 存 管 理 。Linux 动 态 库 与 应 用 程序 共享 同一 个 heap， 因 此 
动态 库 分 配 的 内 存 可 以 交 给 应 用 程序 去 释放 2， 反 之 亦 可 。 

一 致 的 初始 化 。 动 态 库 里 的 静态 对 象 (全 局 对 象 、namespace 级 的 
对 象 等 等 ) 的 初始 化 和 程序 其 他 地 方 的 静态 对 象 一 样 ， 不 用 特别 区 分 
对 象 的 位 置 。 

:在 动态 库 的 接口 中 可 以 放心 地 使 用 class、STL、boost (如果 版 本 
相同 ) 。 

:没有 dllimport/dllexport 的 累 费 。 直 接 include 头 文件 就 能 使 用 。 

.DLL Hellss 的 问题 也 小 得 多 ， 因 为 Linux 允 许多 个 版 本 的 动态 库 并 
存 ， 而 且 每 个 符号 可 以 有 多 个 版 本 =。 


DLL hell 指 的 是 安装 新 的 软件 的 时 候 更 新 了 某 个 公用 的 DLL， 破 坏 
了 其 他 已 有 软件 的 功能 。 例 如 安装 xyz 1.0 会 把 net 库 升级 为 1.1 版 ， 覆 盖 
了 原来 app 1.0 和 hub 1.0 依 赖 的 net 1.0， 这 有 潜在 的 风险 (图 10-4) 。 


app 1.0 app 1.0 


图 10-4 


现在 Windows 7 里 有 side-by-side assembly， 基 本 解决 了 DLL hell 问 
题 ， 代 价 是 系统 里 有 一 个 巨大 的 且 不 断 增 长 的 winSxS 目 录 。 
一 个 C++ 库 的 发 布 方式 有 三 种 : 动态 库 (.so) 、 和 静态 库 (.a) 、 源 
码 库 〈.cc) “s。 表 10-2 简 单 总 结 了 一 些 基 本 特性 。 


表 10-2 
动态 库 静态 库 源码 库 
库 的 发 布 方式 ” 头 文件 + .so 文件 头 文件 + .a 文件 头 文件 + .cc 文件 
程序 编译 时 间 “ 短 得 长 
查询 依赖 ldd 查询 编译 期 信息 编译 期 信息 
部 署 可 执行 文件 + 动态 库 ”单一 可 执行 文件 单一 可 执行 文件 
主要 时 间 差 编译 时 今 运行 时 编译 库 今 编译 应 用 程序 ”无 


本 节 谈 动态 库 只 包括 编译 时 就 链接 动态 库 的 那 种 常规 用 法 ， 不 包 
括 运行 期 动态 加 载 (dlopen()) 的 用 法 。 

作为 应 用 程序 的 作者 ， 如 果 要 在 多 台 Linux 机 器 上 运行 这 个 程序 ， 
我 们 先 要 把 它 部 署 (deploy) 到 那些 机 器 上 ”>。 如 果 程 序 只 依赖 操作 系 
统 本 身 提 供 的 库 〈 包 括 可 以 通过 package 管 理 软件 安装 的 第 三 方 库 ) ， 
那么 只 要 把 可 执行 文件 拷贝 到 目标 机 器 上 就 能 运行 。 这 是 静态 库 和 源 
码 库 在 分 布 式 环境 下 的 突出 优点 之 一 。 

相反 ， 如 果 依 赖 公司 内 部 实现 的 动态 库 ， 这 些 库 必须 事先 (或 者 
同时 ) 部 署 到 这 些 机 器 上 ， 应 用 程序 才能 正常 运行 。 这 立刻 就 会 面临 
运 维 方面 的 挑战 : 部 署 动态 库 的 工作 由 谁 ( 库 的 作者 还 是 应 用 程序 的 
作者 ) 来 做 呢 ? 另外 一 个 相关 的 问题 是 ， 如 果 动 态 库 的 作者 修正 了 
bug， 他 可 以 自主 更 新 所 有 机 器 上 的 库 吗 ? 

我 们 暂且 认为 库 的 作者 可 以 独立 地 部 署 并 更 新 动态 库 ， 并 且 影 响 
到 使 用 这 个 库 的 应 用 程序 s。 否 则 的 话 ， 如 果 每 个 程序 都 把 自己 用 到 的 
动态 库 和 应 用 程序 一 起 打包 发 布 ， 库 的 作者 不 负责 库 的 更 新 ， 那 么 这 
和 使 用 静态 库 就 没有 区 别 了 ， 还 不 如 直接 静态 链接 。 


无 论 哪 种 方式 ， 我 们 都 必须 保证 应 用 程序 之 间 的 独立 性 ， 也 就 是 
让 动态 库 的 多 个 大 版 本 能 够 并 存 。 例 如 部 署 app 1.0 和 xyz 1.0 之 后 的 依 
赖 关 系 如 图 10-5 所 示 。 


图 10-5 


按照 传统 的 观点 ， 动 态 库 比 静态 库 世 省 磁盘 空间 和 内 存 空 间 ， 并 
且 具 备 动态 更 新 的 能 力 (可 以 hot fix bug*) ， 似 乎 动态 库 应 该 是 目前 
的 首选 >。 但 是 正 是 这 种 动态 更 新 ”的 能 力 让 动态 库 成 了 沟 手 的 山 于 。 


10.5.1 ”动态 库 是 有 害 的 
Jeffrey Richter 对 动态 库 的 本 质问 题 有 精辟 的 论述 2 : 


一 旦 替换 了 某 个 应 用 程序 用 到 的 动态 库 ， 先 前 运行 正常 的 这 个 程 
序 使 用 的 将 不 再 是 当初 build 和 测试 时 的 代码 。 结 果 是 程序 的 行为 变 得 
不 可 预期 。 

怎样 在 fix bug 和 增加 feature 的 同时 ， 还 能 保证 不 会 损坏 现 有 的 应 用 
程序 ? 我 (Jeffrey Richter) 曾经 对 这 个 问题 思考 了 很 久 ， 并 且 得 出 了 
一 个 结论 一 一 那 就 是 这 是 不 可 能 的 。 


作为 库 的 作者 ， 你 肯定 不 希望 更 新 部 署 一 个 看 似 有 益 无 害 的 bug fix 
之 后 ， 星 期 一 早上 被 应 用 程序 的 维护 者 的 电话 吵 醒 ， 说 程序 不 能 启动 
(新 的 库 破 坏 了 二 进 制 兼容 性 ) 或 者 出 现 了 不 符合 预期 的 行为 。 

作为 应 用 程序 的 作者 ， 你 也 肯定 不 希望 星期 一 一 大 早 被 运 维 的 同 
事 吵 醒 ， 说 你 负责 的 某 个 服务 进程 无 法 启动 或 者 行为 异常 。 经 排查 ， 
发 现 只 有 某 一 个 动态 库 的 版 本 与 上 星期 不 同 。 你 该 朝 谁 发 火 呢 ? 

既然 双方 都 不 想 过 这 种 提心吊胆 的 日 子 ， 那 为 什么 还 要 用 动态 库 
呢 ? 

那么 有 没有 可 能 在 发 布 动态 库 的 bug fix 之 前 充分 测试 所 有 受 影 响 的 
应 用 程序 呢 ? 这 会 遇 到 一 个 两 难 命题 : 一 个 动态 库 的 使 用 面 窒 ， 只 有 
两 三 个 程序 用 到 它 ， 测 试 的 成 本 较 低 ， 那 么 它 作 为 动态 库 的 优势 就 不 
明显 。 相 反 ， 一 个 动态 库 的 使 用 面 宽 ， 有 几 十 个 程序 用 到 它 ， 动 态 库 
的 “优势 "明显 ， 测 试 和 更 新 的 成 本 也 相应 很 高 (或 许 高 到 足以 抵消 它 
的 “优势 ") 。 有 一 种 做 法 是 把 动态 库 的 更 新 先 发 布 到 QA 环境 ， 正 常 运 
行 一 段 时 间 之 后 再 发 布 到 生产 环境 ， 这 么 做 也 有 另外 的 问题 : 你 在 测 
试 下 一 版 app 1.1 的 时 候 ， 该 用 QA 环境 的 动态 库 版 本 还 是 用 生产 环境 的 
动态 库 版 本 ? 如 果 程 序 在 编译 测试 之 后 行为 还 会 改变 ， 这 是 不 是 在 让 
QA 白费 力气 ? 

总 之 ， 一 旦 动态 库 可 能 频繁 更 新 ， 我 没有 发 现 一 个 完美 的 使 用 动 
态 库 的 办 法 。 在 决定 使 用 动态 库 之 前 ， 我 建议 至 少 要 熟悉 它 的 各 种 陷 
阱 。 参 考 资料 如 下 : 


http://harmful.cat-v.org/software/dynamic-linking/ 

《A Quick Tour of Compiling, Linking, Loading, and Handling 
Libraries on Unix》 ( 
http://ref.web.cern.ch/ref/CERN/CNL/2001/003/shared-lib/Pr/ ) o 

《How to write shared libraries》 ( 
http://www.akkadia.org/drepper/dsohowto.pdf ) 。 

《Good Practices in Library Design, Implementation, and 
Maintenance》 (http://www.akkadia.org/drepper/goodpractice.pdf ) 。 


.《Solaris Linker and Libraries Guide》 ( 
http://docs.oracle.com/cd/E19963-01/html/819-0690/ ) 。 

+ 《Shared Libraries in SunOS》 ( 
http://www.cs.cornell.edu/courses/cs414/2004fa/sharedlib.pdf ) 。 


10.5.2 ”静态 库 也 好 不 到 哪儿 去 


静态 库 相 比 动态 库 主 要 有 几 点 好 处 ( 
http://en.wikipedia.orgAwiki/Static library ) : 


-依赖 管理 在 编译 期 决定 ， 不 用 担心 日 后 它 用 的 库 会 变 。 同 理 ， 调 
试 core dump 不 会 遇 到 库 更 新 导致 debug 符 号 失效 的 情况 。 

:运行 速度 可 能 更 快 ， 因 为 没有 PLT (过 程 查找 表 ) ， 函 数 调 用 的 
开销 更 小 。 

:发 布 方便 ， 只 要 把 单个 可 执行 文件 拷贝 到 模板 机 器 上 。 


静态 库 的 一 个 小 缺点 是 链接 比 动 态 库 慢 ， 有 的 公司 甚至 专门 开发 
了 针对 大 型 C++ 程序 的 链接 器 =。 

静态 库 的 作者 把 源 文件 编译 成 .a 库 文件 ， 连 同 头 文件 一 起 打包 发 
布 。 应 用 程序 的 作者 用 库 的 头 文 件 编译 自己 的 代码 ， 并 链接 到 .a 库 文 
件 ， 得 到 可 执行 文件 。 这 里 有 一 个 编译 的 时 间 差 : 编译 库 文件 比 编译 
可 执行 文件 要 早 ， 这 就 可 能 造成 编译 应 用 程序 时 看 到 的 头 文件 与 编译 
静态 库 时 不 一 样 。 

比方 说 编译 net 1.1 时 用 的 是 boost 1.34， 但 是 编译 xyz 这 个 应 用 程序 
的 时 候 用 的 是 boost 1.40， 见 图 10-6。 这 种 不 一 致 有 可 能 导致 编译 错 
误 ， 或 者 更 糟 料 地 导致 不 可 预期 的 运行 错误 。 比 方 说 net 库 以 
boost::function 提 供 回 调 ， 但 是 boost 1.36 去 掉 了 一 个 模板 类 型 参数 &， 造 
成 xyz 1.0 用 boost 1.40 的 话 就 与 net 1.1 不 兼容 。 


图 10-6 


这 说 明 应 用 程序 在 使 用 静态 库 的 时 候 必 须要 采用 完全 相同 的 开发 
环境 (更 底层 的 库 、 编 译 器 版 本 、 编 译 器 选项 ) 。 但 是 万 一 两 个 静态 
库 的 依赖 有 冲突 怎么 办 ? 

静态 库 把 库 之 间 的 版 本 依赖 完全 放 到 编译 期 ， 这 比 动态 库 要 省 心 
得 多 ， 但 是 仍然 不 是 一 件 容易 的 事情 。 下 面 略 举 几 种 可 能 遇 到 的 情 
by 


.迫使 升级 高 版 本 。 假 设 一 开始 应 用 程序 app 1.0 依 赖 net 1.0 和 hub 
1.0， 一 切 正 常 ， 如 图 10-7 〈 左 图 ) 所 示 。 在 开发 app 1.1 的 时 候 ， 我 们 
要 用 到 net 1.1 的 功能 。 但 是 hub 1.0 仍 然 依 赖 net 1.0，hub 库 的 作者 暂时 
没有 升级 到 net 1.1 的 打算 。 如 果 不 小 心 的 话 ， 就 会 造成 hub 1.0 链 接 到 
net 1.1， 如 图 10-7 〈 右 图 ) 所 示 。 这 就 跟 编译 hub 1.0 的 环境 不 同 了 ， 
hub 1.0 的 行为 不 再 是 经 过 充分 测试 的 。 


app 1.] 


图 10-7 


.重复 链接 。 如 果 Makefile 编 写 不 当 ， 有 可 能 出 现 hub 1.0 继 续 链 接 到 
net 1.0， 而 应 用 程序 则 链接 到 net 1.1 的 情况 ， 如 图 10-8 ( 左 图 ) 所 示 。 
这 时 如 果 net 库 里 有 internal ljinkage 的 静态 变量 ， 可 能 造成 奇怪 的 行为 ， 
因为 同一 个 变量 现在 有 了 两 个 实体 ， 违 背 了 ODR。 一 个 具体 的 例子 见 
云 风 的 博客 2。 


图 10-8 


.版 本 冲突 。 比 方 说 app 升 级 到 1.2 版 ， 想 加 入 一 个 库 cab 1.0， 但 是 
cab 1.0 依 赖 net 1.2， 如 图 10-8 ( 右 图 ) 所 示 。 这 时 我 们 的 问题 是 ， 如 果 


用 net 1.1， 则 不 满足 cab 1.0 的 需求 ; 如 果 用 net 1.2， 则 不 满足 hub 1.1 的 
需求 。 那 该 怎么 办 ? 

可 见 静态 库 的 版 本 管理 并 不 如 想象 中 那么 简单 。 如 果 一 个 应 用 程 
序 用 到 了 三 四 个 公司 内 部 的 静态 库 ( 见 图 10-9) ， 那 么 协调 库 之 间 的 版 
本 要 花 一 番 脑 筋 ， 单 独 升级 任何 一 个 库 都 可 能 破坏 它 原本 的 依赖 。 


图 10-9 


静态 库 的 演化 也 比较 费事 。 到 目前 为 止 我 们 认为 公司 没有 历史 包 
突 ， 所 有 的 机 器 都 是 2009 年 前 后 买 的 ， 运 行 的 是 Ubuntu 8.04 LTS， 软 
件 版 本 是 g++ 4.2、glibc 2.7、boost 1.34 等 等 ，C++ 程 序 和 库 也 都 是 在 这 
个 统一 的 环境 下 开发 的 。 现 在 到 了 2012 年 ， 线 上 服务 器 已 服役 满 3 年 ， 
进入 换代 周期 。 新 购买 的 机 器 打算 升级 到 Ubuntu 10.04 LTS， 因 为 新 内 
核 的 驱动 程序 对 新 硬件 支持 更 好 ， 而 且 8.04 版 还 有 一 年 多 就 停止 支持 
了 。 这 样 同时 升级 了 内 核 、gcc 4.4、glibc 2.11、boost 1.40。 

这 就 要 求 静态 库 的 作者 得 为 新 系统 重新 编译 并 发 布 新 的 库 文 件 。 
为 了 避免 混淆 ， 我 们 不 得 不 为 库 加 上 后 缀 名 ， 以 标明 环境 和 依赖 。 假 


设 目 前 有 net 1.0、net 1.1、net 1.2、hub 1.0、hub 1.1、cab 1.0 等 现役 的 
库 ， 那 么 需要 发 布 多 个 版 本 的 静态 库 : 


‘net1.0_boost1.34_gcc42 
‘net1.0_boost1.40_gcc44 
net1.1_boost1.34_gcc42 
net1.1_boost1.40_gcc44 
net1.2_boost1.34_gcc42 
Det1.2_boost1.40_gcc44 
‘hub1.0_net1.0_boost1.34_gcc42 
‘hub1.0_net1.0_boost1.40_gcc44 
‘hub1.1 net1.1 boost1.34_gcc42 
‘hub1.1 net1.1 boost1.40_gcc44 
‘cab1.0_net1.2_boost1.34_gcc42 
‘cab1.0_net1.2_boost1.40_gcc44 


这 种 组 合 爆炸 式 的 增长 让 人 措手不及 ， 因 为 任何 一 个 底层 库 新 增 
一 个 变 体 (variant) ， 所 有 依赖 它 的 高 层 库 都 要 为 之 编译 一 个 版 本 。 

如 果 这 些 库 打算 支持 C++11， 那 么 上 面 这 个 列表 还 会 长 50% ， 因 为 
g++ 为 C++11 修 改 了 ABI， 即 使 用 --std=c++0x 人 参数 编译 出 来 的 库 文 件 不 
能 与 日 的 C++ 库 混 用 。 

要 想 摆 脱 这 个 困境 ， 我 目前 能 想到 的 办 法 是 使 用 源码 库 ， 即 每 个 
应 用 程序 都 从 头 编 译 所 需 的 库 ， 把 时 间 差 减 到 最 小 。 


10.5.3 ”源码 编译 是 王道 


每 个 应 用 程序 自己 选择 要 用 到 的 库 ， 并 自行 编译 为 单个 可 执行 文 
件 。 彻 底 避 免 头 文件 与 库 文 件 之 间 的 时 间 差 ， 确 保 整 个 项 目的 源 文 件 
采用 相同 的 编译 选项 ， 也 不 用 为 库 的 版 本 搭配 操心 。 这 么 做 的 缺点 是 
编译 时 间 很 长 ， 因 为 把 各 个 库 的 编译 任务 从 库 文 件 的 作者 转嫁 到 了 每 
个 应 用 程序 的 作者 。 

另外 ， 最 好 能 和 源码 版 本 工具 配合 ， 让 应 用 程序 只 需 指 定 用 哪个 
库 ，build 工 具 能 自动 帮 有 我 们 check out 库 的 源码 。 这 样 库 的 作者 只 需要 


维护 少数 几 个 branch， 发 布 库 的 时 候 不 需要 把 头 文 件 和 库 文件 打包 供 人 
下 载 ， 只 要 push 到 特定 的 branch 就 行 。 而 且 这 个 build 工 具 最 好 还 能 解析 
库 的 Makefile (或 等 价 的 build script) ， 自 动 帮 有 我 们 解决 库 的 传递 性 依 
赖 sa ， 就 像 Apache Ivy 能 做 的 那样 。 

在 目前 看 到 的 开源 build 工 具 里 ， 最 接近 这 一 点 的 是 Chromium 的 
gyp 和 腾讯 的 typhoon-blade， 其 他 如 SCons、CMake、Premake、Waf 等 
等 工具 仍然 是 以 库 的 思路 来 搭建 项 目 。 


总 结 


由 于 C++ 的 头 文件 与 源 文件 分 离 ， 并 且 目 标 文件 里 没有 足够 的 元 数 
据 供 编译 器 使 用 ， 因 此 必须 同时 提供 库 文 件 和 头 文件 。 也 就 是 说 要 想 
使 用 一 个 已 经 编译 好 的 C/C++ 库 (无 论 是 静态 库 还 是 动态 库 ) ， 我 们 需 
要 两 样 东西 ， 一 是 头 文件 (.h) ， 二 是 库 文件 〈.a 或 .so) ， 这 就 存在 了 
这 两 样 东西 不 匹配 的 可 能 。 这 是 造就 C++ 简 陋 脆 弱 的 模块 机 制 的 根本 原 
因 。C++ 库 之 间 的 依赖 管理 远 比 其 他 现代 语言 复杂 ， 在 编写 程序 库 和 应 
用 程序 时 ， 要 熟悉 各 种 机 制 的 优 缺 点 ， 采 用 开发 及 维护 成 本 较 低 的 方 
式 来 组 织 和 发 布 库 。 


注释 


工本 节 谈 的 C 语 言 和 C++ 语言 指 的 是 现代 的 常见 的 实现 〈 没 有 特别 指明 时 ， 可 认为 是 
Linux x86- ) ee 因为 标准 里 根本 就 没有 提 到 “程序 库 
(library) ”这 个 概念 。 另 外 本 节 所 提 的 C 语 言 库 函 数 不 仅 包括 C 标 准 中 的 函数 ， 也 包括 POSIX 
里 的 常用 函 因为 在 Linux 下 二 者 是 不 分 家 wa 

2 http://enwikipedia.org/Wwiki/One Definition Rule 
3 ”从 兼容 语法 的 角度 ，Java 和 C# 都 可 以 算是 “与 C 兼 容 *， 例 如 它们 的 for 循 环 写 出 来 都 
是 : for (inti=0; i<100; ++i) { /* do something */ } 
本 节 不 区 分 系统 调用 与 用 户 态 库 函数 ， 统 称 为 “系统 函数 ”。 

前 面 提 到 ， 现 代 编 译 器 通常 把 预 处 理 和 代码 转换 合并 起 来 ， re ， 
调试 信息 也 更 丰富 。 现 在 的 编译 器 能 获知 包括 宏 常 量 的 名 字 、 宏 函数 等 传统 上 编译 器 看 
| 的 内 容 ， 有 的 开发 环境 甚至 能 单 步 跟踪 宏 函 数 。 

《C++ 语言 的 设计 和 演化 》 的 第 18 章 “C 语 言 预 处 理 器 "一 Cpp 必 须 被 摧毁 。 
C++ 复杂 的 作用 域 机 制 也 大 大 增加 函 数 重 载 决 议 的 难度 ， 基 本 上 只 有 C++ 编译 器 才 
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(http:Wen.wikipedia.org/wiki/C%2B%2B#Parsing and processing C.2B.2B Source code ) 。 


8 "Even Iknew how to design a prettier language than C++."—Bjarne Stroustrup 

9 ”主要 参考 http://minnie.tuhs.org/cgi-bin/utree.pl 和 Dennis M. Ritchie 写 的 《The Evolution of 
the Unix Timesharing System》 — 文 (http://cm.bell-labs.com/cm/cs/who/dmr/hist.pdf ) 。 

10 ”Unix 的 历史 一 般 从 1970 年 算 起 (Unix Epoch 是 1970-01-01 00:00:00 UTC) ， 因 此 这 个 
只 能 算 “ 史 前 ”。 

11 http://enwikipedia.org/Wwiki/PDP-7 http://en.wikipedia.org/wiki/PDP-11 

12 ”在 C 语 言 20 世 纪 70 年 代 开始 流行 之 后 ， 高 效 支持 C 语 言 就 成 了 CPU 指 令 集 的 设计 目标 
之 一 ， 否 则 这 种 CPU 很 难 推广 。 另 外 ，C/Unix/Arpanet 还 规范 了 字 节 的 长 度 ， 在 此 之 前 ， 字 节 
可 以 是 6、7、8、9、12 比 特 ， 之 后 都 是 8-bit， 否 则 就 不 能 与 其 他 系统 联网 通信 ( 
http://herbsutter.com/2011/10/12/dennis-ritchie/ ) 。 

13 ”用 的 是 磁 心 存储 器 (http:;//en.wikipedia.org/wiki/Magnetic-core memory ) ， 因 此 早期 文献 
常 以 core 指 代 内 存 。 

14 ”PDP-11/20 是 PDP-11 系 列 的 第 一 个 型 号 ， 甚 至 没有 内 存 保护 机 制 ， 也 就 没 法 区 分 核心 
态 和 用 户 态 。 

15 《The Development of the C Language》Dennis M. Ritchie. ( 
http://cm.bell-labs.com/cm/cs/who/dmr/chist.pdf ) 。 

16 http://cm.bell-labs.com/cm/cs/who/dmr/cacm.pdf : 这 篇 文章 至 少 有 三 个 版 本 ， 第 一 版 以 
单 页 摘要 的 形式 发 表 于 1973 年 10 月 的 第 四 届 ACM SOSP 会 议 上 ， 第 二 版 发 表 于 1974 年 7 月 的 
Communications of the ACM 期 刊 上 ， 第 三 版 发 表 于 1978 年 七 - 八 月 的 BSTJ 上 。 此 处 链接 是 第 三 
版 ， 内 容 与 CACM 的 原始 版 本 略 有 出 入 。 

17 ”Unix V5 的 C 编 译 器 源码 : http:Wminnietuhs.org/cgi-bin/utree.pl?file=V5/usr/c 。 

18 ”PDP-11 的 物理 内 存 可 以 有 几 百 KiB， 但 是 每 个 进程 只 能 看 到 16-bit 的 地 址 空间 。PDP- 
11/45 支 持 将 代码 空间 和 数据 空间 分 离 ( 即 哈佛 结构 ， 而 非 冯 诺 依 曼 结 构 ) ， 各自 有 64KiB。 但 
是 直到 1979 年 的 Unix V7 才 用 上 这 个 功能 ， 而 此 时 C 语 言 早 已 定型 ( 
http://en.wikipedia.org/wiki/PDP-11 architecture ) 。 

19 “我 怀疑 当时 的 C 编 译 器 恐怕 连 整 个 函数 都 无 法 放 到 内 存 里 ， 只 能 放下 当前 的 表达 式 。 

20 ”其 实 链接 器 的 历史 比 编译 器 还 长 ， 在 没有 高 级 语言 编译 器 而 只 有 汇编 器 的 时 代 ， 链 
接 器 就 已 经 存在 。 我 们 可 以 把 多 个 汇编 源 文件 assemble 成 目标 文件 ， 再 让 链接 器 来 处 理 外 部 符 
号 的 地 址 与 水 数 重 定位 。 

21 《PASCAL - User Manual and Report》 Springer-Verlag, 1974. 
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第 11 章 ”反思 C++ 面向 对 象 与 虚 函 数 


C++ 的 面向 对 象 语言 设施 相 比 其 他 现代 语言 可 算得 上 “简陋 ”， 而 且 
与 语言 的 其 他 部 分 (better C、 数 据 抽 象 、 泛 型 ) 融合 度 较 差 〈 见 电子 
工业 出 版 社 出 版 的 《C++ Primer (第 4 版 ) 《评注 版 ) 》 第 15 章 ) 。 在 
C++ 中 进行 面向 对 象 编 程 会 遇 到 其 他 语言 中 不 存在 的 问题 ， 其 本 质 原 因 
是 C++ class 是 值 语义 ， 而 非 对 象 语义 。 


11.1 朴实 的 C++ 设 计 


去 年 8 月 :入 职 ， 培 训 了 4 个 月 ，12 月 进入 现在 这 个 部 门 ， 到 现在 工 
作 正 好 一 年 了 。 工 作 内 容 是 软件 开发 ， 具 体 地 说 ， 用 C++ 开发 一 个 网 络 
应 用 (TCP not Web) ， 这 是 我 们 的 外 汇 交 易 系统 的 一 个 部 件 。 这 半年 
来 ， 和 一 两 位 同事 合作 把 原 有 的 一 个 C++ 程序 重 写 了 一 遍 ， 并 增加 了 很 
多 新 功能 ， 重 写 后 的 代码 不 长 ， 不 到 15000 行 :， 代 码 质量 与 性 能 大 大 
提高 。 实 际 上 ， 重 写 只 花 了 三 个 月 ，9 月 我 们 交付 了 第 一 个 版 本 ， 实 现 
了 原来 的 主要 功能 ， 吞 吐 量 提高 4 倍 。 后 面 这 三 个 月 我 们 在 增加 新 功 
能 ， 并 准备 交付 第 二 个 版 本 。 这 个 项 目 让 我 对 C++ 的 使 用 有 了 新 的 体 
会 ， 那 就 是 “实用 当头 ， 朴 实 为 贵 ， 好 用 才 是 王道 ”。 

C++ 是 一 门 (最 ) 复杂 的 编程 语言 ， 语 言 虽 复杂 ， 不 代表 一 定 要 用 
复杂 的 方式 来 使 用 它 。 对 于 一 个 金融 交易 系统 ， 正 确 性 是 首要 的 ， 价 
格 了 数量 交割 日 期 弄 错 了 就 会 赔钱 。 在 编写 代码 上 时， 我们 特别 注意 
把 代码 写 得 尽量 简单 直 白 ， 让 人 一 看 就 懂 。 为 了 控制 代码 的 复杂 上 度 ， 
我 们 采用 了 基于 对 象 的 风格 ， 也 就 是 具体 类 加 全 局 函数 ， 把 C++ 程序 写 
得 如 C 语 言 一 般 清 晰 ， 同 时 使 用 一 些 C++ 特 性 和 库 来 减少 代码 。 

项 目 中 基本 没有 用 到 面向 对 象 ， 或 者 说 没有 用 到 继承 和 多 态 的 那 
种 面向 对 象 (不 一 定 非得 有 基 类 和 派生 类 的 设计 才 是 好 设计 ) 。 引 入 
基 类 和 派生 类 ， 或 许 能 读 来 灵活 性 ， 但 是 代码 就 不 如 原来 透彻 了 。 在 


不 需要 这 种 灵活 性 的 场合 ， 为 什么 要 付出 这 样 的 代价 呢 ? 我 宁愿 花 一 
天 时 间 把 几 千 行 C 代 码 弄 懂 ， 也 不 愿 在 几 十 个 类 组 成 的 继承 体系 里 绕 来 
绕 去 滔 费 脑力 。 定 义 并 使 用 清晰 一 致 的 接口 很 重要 ， 但 “接口 ”不 一 定 
非得 是 抽象 基 类 ， 一 个 类 的 成 员 函 数 就 是 它 的 接口 。 如 果 看 头 文 件 就 
能 明白 这 个 类 在 干什么 、 该 怎么 用 固然 很 好 ， 但 如 果 不 明 白 ， 打 开 实 
现 文 件 ， 东 西 都 在 那儿 摆 着 呢 ， 一 望 而 知 。 没 必要 非得 用 个 抽象 的 接 
口 类 把 使 用 者 和 实现 隔 开 ， 再 把 实现 隐藏 起 来 ， 这 除了 让 查找 并 理解 
代码 变 麻 烦 之 外 没有 任何 好 处 。 一 个 进程 内 部 的 解 看 意义 不 大 :;， 相 
反 ， 鸳 数 调用 是 最 直接 有 效 的 通信 和 方式。 或许 采 用 接口 类 实现 类 的 
一 个 可 能 的 好 处 是 依赖 注入 ， 便 于 单元 测试 。 经 过 权衡 比较 ， 我 们 发 
现 针对 各 个 类 写 测 试 的 意义 不 大 。 另 外 ， 如 果 用 和 白 盒 测试 ， 那 么 功能 
代码 和 测试 代码 就 得 同步 更 新 ， 会 增加 不 少 工 作 量 ， 碍 手 碍 脚 。 

程序 里 边 有 一 处 用 到 了 继承 ， 因 为 它 能 简化 设计 。 这 是 一 个 
strategy， 涉 及 一 个 基 类 和 三 四 个 派生 类 ， 所 有 的 类 都 没有 数据 成 员 ， 
只 有 虚 函 数 。 这 几 个 类 的 代码 加 起 来 不 到 200 行 。 这 个 设计 不 是 一 开始 
就 有 的 ， 而 是 在 项 目 进行 了 一 大 半 的 时 候 ， 我 们 发 现代 码 里 有 若干 处 
针对 请 求 类 型 的 switch-case， 于 是 提炼 出 了 一 个 strategy， 把 好 几 处 
switch-case 替 换 为 了 strategy 对 象 的 虚 图 数 调 用 ， 从 而 简化 了 代码 。 这 里 
我 们 是 把 OO 纯粹 当做 函数 指针 表 来 用 的 。 

程序 里 还 有 几 处 用 了 模板 ， 甚 至 为 了 简化 与 第 三 方 库 的 交互 而 动 
用 了 type traits， 这 都 是 为 了 简化 代码 ， 少 部 键盘 。 这 些 代 码 都 藏 在 一 
个 角落 里 ， 对 外 只 暴露 出 一 个 全 局 水 数 的 接口 ， 使 用 者 不 会 被 其 困 
扰 。 

项 目 里 ， 我 们 唯一 仰赖 的 C++ 特性 是 确定 性 析 构 ， 即 一 个 对 象 在 离 
开 其 作用 域 之 后 会 保证 调用 析 构 水 数 。 我 们 利用 这 点 大 大 简化 了 代 
码 ， 并 确保 资源 和 内 存 的 回收 。 在 我 看 来 ， 确 定性 析 构 是 C++ 区 别 其 他 
主流 开发 语言 (Java/C#/C/ 动 态 脚 本 语言 ) 的 最 主要 特性 。 

为 了 确保 正确 性 ， 我 们 另外 用 Java 写 了 一 个 测试 夹具 (test 
harness) 来 测试 我 们 这 个 C++ 程序 。 这 个 测试 夹具 模拟 了 所 有 与 我 们 这 
个 C++ 程序 打交道 的 其 他 程序 ， 能 够 测试 各 种 正常 或 异常 的 情况 。 基 本 


上 任何 代码 改动 和 bug 修 复 都 在 这 个 夹具 中 有 体现 。 如 果 要 新 加 一 个 功 
能 ， 会 有 对 应 的 测试 用 例 来 验证 其 行为 。 如 果 发 现 了 一 个 bug， 先 往 夹 
具 里 加 一 个 或 几 个 能 复 现 bug 的 测试 用 例 ， 然 后 修复 代码 ， 让 测试 通 
过 。 我 们 积累 了 几 百 个 测试 用 例 ， 这 些 用 例 表 示 了 我 们 对 程序 行为 的 
预期 ， 是 一 份 可 以 运行 的 文档 。 每 次 代码 改动 提交 之 前 ， 我 们 都 会 执 
行 一 遍 测 试 ， 以 防 低 级 错误 发 生 。 ( 见 本 书 89.7 的 详细 论述 和 87.12 的 
例子 。) 

我 们 让 每 个 类 有 明确 的 职责 范围 ， 一 个 类 代表 一 个 概念 ， 不 能 像 
个 杂货 铺 一 样 什么 都 装 。 在 增加 或 修改 功能 的 时 候 ， 仔 细 考 虑 在 哪儿 
下 手 才 最 合理 。 必 要 时 可 以 动 大 手脚 ， 而 不 是 每 次 都 选择 最 简单 的 修 
补 方式 ， 那 样 只 会 使 代码 越 来 越 臭 ， 积 重 难 返 ， 重 蹈 上 一 个 版 本 的 履 
入 。 有 时 我 们 会 提炼 出 一 个 新 的 类 ， 把 原来 分 散在 多 个 类 里 的 代码 集 
中 到 一 起 ， 从 而 优化 结构 。 我 们 有 测试 夹具 保障 ， 并 不 担心 修改 会 破 
坏 什么 。 

设计 不 是 一 开始 就 形成 的 ， 而 是 随 着 项 目 进 展 逐 步 六 化 出 来 的 。 
我 们 的 设计 是 基于 类 的 ， 而 不 是 基于 类 的 继承 体系 的 。 我 们 是 在 写 应 
用 ， 不 是 在 写 框 架 ， 在 C++ 里 用 那么 多 继承 对 我 们 没 好 处 。 一 开始 我 们 
只 有 三 四 个 类 ， 实 现 了 基本 的 报价 功能 ， 然 后 增加 了 一 个 类 ， 实 现 了 
下 单 功能 。 这 时 我 们 把 报价 和 下 单 的 共同 数据 结构 提炼 成 一 个 新 的 
类 ， 作 为 原来 两 个 类 的 成 员 (而 不 是 基 类 ! ) ， 并 把 解析 客户 输入 的 
代码 移 到 这 个 类 里 。 我 们 的 原则 是 ， 可 以 有 特别 简单 的 类 ， 但 不 宜 有 
特别 复杂 的 类 ， 更 不 能 有 “大 怪兽 ”。 一 个 类 太 大 ， 我 们 就 看 看 能 不 能 
把 它 拆 成 两 个 ， 把 责任 分 开 。 两 个 类 有 共同 的 代码 逻辑 ， 我 们 会 考虑 
提炼 出 一 个 工具 类 来 用 ， 输 入 数据 的 验证 就 是 这 么 提炼 出 来 的 一 个 
类 。 勿 以 善 小 而 不 为 ， 应 始终 让 代码 保持 清晰 易 懂 。 

让 代码 保持 清晰 ， 给 我 们 带 来 了 显而易见 的 好 人 处。 错误 更 容易 暴 
露 ， 在 发 布 前 每 多 修复 一 个 错误 ， 发 布 后 就 少 一 次 半夜 被 从 被 富里 叫 
醒 查 错 的 机 会 。 

不 要 因为 某 个 技术 流行 而 去 用 它 ， 除 非 它 确实 能 降低 程序 的 复杂 
性 。 毕 竟 ， 软 件 开发 的 首要 技术 使 命 是 控制 复杂 度 *， 防 止 脑袋 爆 挥 。 


对 于 继承 要 特别 小 心 ， 这 条 “ 贼 船 "Y 上 去 就 下 不 来 ， 除 非 你 是 继承 
boost::noncopyable。 在 讲解 面向 对 象 的 书 里 ， 总 会 举 一 些 用 继承 的 精巧 
的 例子 ， 比 如 和 矩形 、 正 方形 、 圆 形 继承 自 形状 ， 飞 机 和 打 省 继承 自 “ 能 
飞 的 "， 这 不 意味 着 继承 处 处 适用 。 我 认为 在 C++ 这 样 需 要 自己 管理 内 
存 和 对 象 生 命 期 的 语言 里 ， 大 规模 使 用 面向 对 象 、 继 承 、 多 态 多 是 自 
讨 藻 吃 。 还 不 如 用 C 语 言 的 思路 来 设计 ， 在 局 部 用 一 用 继承 来 代替 函数 
中 针 表 。 而 GoF 的 《设计 模式 》 与 其 说 是 常见 问题 的 解决 方案 ， 不 如 说 
是 绕 过 (work around) C++ 语言 限制 的 技巧 。 当 然 ， 也 是 一 些 人 挂 在 嘴 
边 用 来 忽悠 别人 或 厅 痹 自己 的 灵丹妙药 。 


11.2 ”程序 库 的 二 进 制 兼容 性 


本 节 主 要 讨论 Linux x86/x86-64 平 台 ， 偶 尔 会 举 Windows 作 为 反面 
教材 。 

C++ 程序 员 有 不 同 的 角色 ， 比 如 有 主要 编写 应 用 程序 的 
(application) ， 也 有 主要 编写 程序 库 的 (library) ， 有 的 程序 员 或 许 
还 身 兼 多 职 。 如 果 公 司 的 规模 比较 大 ， 会 出 现 更 细致 和 明确 的 分 工 。 
比如 有 的 团队 专门 负责 一 两 个 公用 的 library; 有 的 团队 负责 某 个 
application， 并 使 用 了 前 一 个 团队 的 library。 

举 一 个 具体 的 例子 。 假 设 你 负责 一 个 图 形 库 ， 这 个 图 形 库 功 能 强 
大 ， 且 经 过 了 充分 测试 ， 于 是 在 公司 内 慢 慢 推广 开 来 。 目 前 已 经 有 二 
三 十 个 内 部 项 目 用 到 了 你 的 图 形 库 ， 大 家 日 子 过 得 挺 好 。 前 几 天 ， 公 
司 新 买 了 一 批 大 屏幕 显示 器 〈 分 辨 率 为 2560x1600 像 素 ) ， 不 巧 你 的 图 
形 库 不 能 支持 这 么 高 的 分 辨 率 。 (这 其 实 不 怪 你 ， 因 为 在 你 当年 编写 
这 个 库 的 时 候 ， 市 面 上 显示 器 的 最 高 分 辨 率 是 1920x1200 像 素 。 ) 

结果 用 到 了 你 的 图 形 库 的 应 用 程序 在 2560x1600 分 辨 率 下 不 能 正常 
工作 ， 你 该 怎么 办 ? 你 可 以 发 布 一 个 新 版 的 图 形 库 ， 并 要 求 那 二 三 十 
个 项 目 组 用 你 的 新 库 重 新 编译 他 们 的 程序 ， 然 后 让 他 们 重新 发 布 应 用 
程序 。 或 者 ， 你 提供 一 个 新 的 库 文 件 ， 直 接替 换 现 有 的 库 文件 ， 应 用 
程序 的 可 执行 文件 保持 不 变 。 


这 两 种 做 法 各 有 优 劣 。 第 一 种 做 法 声势 浩大 ， 凡 是 用 到 你 的 库 的 
团队 都 要 经 历 一 个 release cycle。 后 一 种 做 法 似乎 节省 人 力 ， 但 是 有 风 
险 : 如 果 新 的 库 文件 和 原 有 的 应 用 程序 可 执行 文件 不 兼容 怎么 办 ? 

所 以 ， 作 为 C++ 程序 员 ， 只 要 工作 涉及 二 进 制 的 程序 库 (特别 是 动 
态 库 ) ， 都 需要 了 解 二 进 制 兼容 性 方面 的 知识 。 

C/C++ 的 二 进 制 兼 容 性 (binary compatibility) 有 多 重 含义 ， 本 文 主 
要 在 “ 库 文件 单独 升级 ， 现 有 可 执行 文件 是 否 受 影响 ”这 个 意义 下 讨 
论 ， 我 称 之 为 library (主要 是 shared library， 即 动态 链接 库 ) 的 ABI 

(application binary interface) 。 至 于 编译 器 与 操作 系统 的 ABI 见 第 10 
旱 o 


11.2.1 ”什么 是 二 进 制 兼容 性 


在 解释 这 个 定义 之 前 ， 先 看 看 Unix 和 C 语 言 的 一 个 历史 问题 : 
open0O 的 flags 人 参数 的 取 值 。open(2) 函 数 的 原型 如 下 ， 其 中 flags 的 取 值 有 
三 个 : O_RDONLY、O_WRONLY、O_RDWR。 
int open(const char *pathname，int flags) ; 

与 人 们 通常 的 直觉 相反 ， 这 几 个 常数 值 不 满足 按 位 或 (bitwise- 
OR) 的 关系 ， 即 (0O_RDONLY |O_WRONLY) != O_RDWR。 如 果 你 想 
以 读 写 方式 打开 文件 ， 必 须 用 O_RDWR， 而 不 能 用 (O_RDONLY | 
O_WRONLY)。 为 什么 ? 因为 O RDONLY、O_WRONLY、O_RDWR 的 
值 分 别 是 9、1、2。 它 们 不 满足 按 位 或 。 

那么 为 什么 Unix/C 语 言 从 诞生 到 现在 一 直 没 有 纠正 这 个 小 小 的 缺 
陷 ? 比方 说 把 O_RDONLY、O_WRONLY、O_RDWR 分 别 定义 为 1、 
2、3， 这 样 (O_RDONLY | O_WRONLY) == O_RDWR， 符 合 直觉 。 而 
且 这 三 个 值 都 是 安定 义 ， 也 不 需要 修改 现 有 的 源 代 码 ， 只 需要 改 改 系 
统 的 头 文 件 就 行 了 。 

这 么 做 会 破坏 二 进 制 兼容 性 。 对 于 已 经 编译 好 的 可 执行 文件 ， 它 
调用 open(2) 的 参数 是 写 死 的 ， 更 改 头 文 件 并 不 能 影响 已 经 编译 好 的 可 


执行 文件 。 比 方 说 这 个 可 执行 文件 会 调用 open(path, TD) 来 写 文 件 ， 而 在 
新 规定 中 ， 这 表示 读 文件 ， 程 序 就 错乱 了 。 

以 上 这 个 例子 说 明 ， 如 果 以 shared library 方 式 提 供 了 图 数 库 ， 那 么 头 
文件 和 库 文件 不 能 轻易 修改 ， 否 则 容易 破坏 已 有 的 二 进 制 可 执行 文 
件 ， 或 者 其 他 用 到 这 个 shared library 的 library。 

操作 系统 的 system call 可 以 看 成 Kernel 与 User space 的 interface， 
kernel 在 这 个 意义 下 也 可 以 当成 shared library， 你 可 以 把 内 核 从 2.6.30 升 
级 到 2.6.35， 而 不 需要 重新 编译 所 有 用 户 态 的 程序 。 

本 章 所 指 的 “二 进 制 兼容 性 ”是 在 升级 (也 可 能 是 bug fix) 库 文件 的 
时 候 ， 不 必 重 新 编译 使 用 了 这 个 库 的 可 执行 文件 或 其 他 库 文件 ， 并 且 
程序 的 功能 不 被 破坏 。 见 QT FAQ: 的 有 关 条 款 。 

在 Windows 有 臭名 昭著 的 DLL Hell 间 题 ， 比 如 MFC 有 一 堆 DLL: 
mfc40.dll 、mfc42.dll、mfc71.dll、mfc80.dll 、mfc90.dll 等 ， 这 其 实 是 动态 链 
接 库 的 本 质问 题 ， 怪 不 到 MFC 头 上 。 


11.2.2 ”有 哪些 情况 会 破坏 库 的 ABI 


到 底 如 何 判 断 一 个 改动 是 不 是 二 进 制 兼容 呢 ? 这 跟 C++ 的 实现 方式 
直接 相关 ， 哩 然 C++ 标 准 没有 规定 C++ 的 ABI， 但 是 几乎 所 有 主流 平台 
都 有 明文 或 事实 上 的 ABI 标 准 。 比 方 说 ARM 有 EABI，Tntel Itanium 有 
Itanium ABIs，x86-64 有 仿 Itanium 的 ABI，SPARC 和 MIPS 也 都 有 明文 规 
定 的 ABI， 等 等 。x86 是 个 例外 ， 它 只 有 事实 上 的 ABI， 比 如 Windows 就 
是 Visual C++，Linux 是 G++ (G++ 的 ABI 还 有 多 个 版 本 ， 目 前 最 新 的 是 
G++ 3.4 的 版 本 ) ，Intel 的 C++ 编 译 器 也 得 按照 Visual C++ 或 G++ 的 ABI 
来 生成 代码 ， 否 则 就 不 能 与 系统 的 其 他 部 件 兼容 。 

C++ 编译 器 ABI 的 主要 内 容 包括 以 下 几 个 方面 : 


- 国 数 参数 传递 的 方式 ， 比 如 x86-64 用 寄存 器 来 传 函 数 的 前 4 个 整数 


. 虚 函 数 的 调用 方式 ， 通 常 是 vptvvtbl] 机 制 ， 然 后 用 vtbl[offset] 来 调 


:struct 和 class 的 内 存 布局 ， 通 过 偏 移 量 来 访问 数据 成 员 ; 
‘name mangling ， 


:RTTI 和 异常 处 理 的 实现 (以 下 本 文 不 考虑 异常 处 理 ) 。 


C/C++ 通过 头 文 件 暴露 出 动态 库 的 使 用 方法 (主要 是 水 数 调用 和 对 
象 布局 ) ， 这 个 “使 用 方法 ”主要 是 给 编译 器 看 的 ， 编 译 器 会 据 此 生成 
二 进 制 代码 ， 然 后 在 运行 的 时 候 通过 装载 器 (loader) 把 可 执行 文件 和 
动态 库 绑 到 一 起 。 如 何 判断 一 个 改动 是 不 是 二 进 制 兼容 ， 主 要 就 是 看 
头 文件 暴露 的 这 份 * 使 用 说 明 ” 能 否 与 新 版 本 的 动态 库 的 实际 使 用 方法 
兼容 。 因 为 新 的 库 必然 有 新 的 头 文件 ， 但 是 现 有 的 二 进 制 可 执行 文件 
还 是 按 旧 的 头 文件 中 的 “使 用 说 明 ” 来 调用 动态 库 。 

先 说 修改 动态 库 导 致 二 进 制 不 兼容 的 例子 。 比 如 原来 动态 库 里 定 
义 了 non-virtual 了 图 数 void foo(int)， 新 版 的 库 把 参数 改 成 了 double。 那 么 
现 有 的 可 执行 文件 就 无 法 启动 ， 会 发 生 undefined symbol 错 误 ， 因 为 这 
两 个 图 数 的 mangled name 不 同 。 但 是 对 于 virtual 遂 数 foo(int)， 修 改 其 参 
数 类 型 并 不 会 导致 加 载 错 误 ， 而 是 会 发 生 诡 异 的 运行 时 错误 。 因 为 虚 
函数 的 决议 (resolution) 是 靠 偏 移 量 ， 并 不 是 靠 符 号 名 。 

再 举 一 些 源 代码 兼容 但 是 二 进 制 代码 不 兼容 的 例子 : 


给 函数 增加 默认 参数 ， 现 有 的 可 执行 文件 无 法 传 这 个 额外 的 参 
数 。 

.增加 庶 函 数 ， 会 造成 vtb] 里 的 排列 变化 。 (不 要 考虑 “只 在 末尾 增 
加 ”这 种 取 巧 行为 ， 因 为 你 的 class 可 能 已 被 继承 。 ) 

.增加 默认 模板 类 型 参数 ， 比 方 说 Foo<T> 改 为 Foo<T， 
Alloc=alloc<T> >， 这 会 改变 name mangling。 

变 enum 的 值 ， 把 enum Color { Red 二 3 }: 改 为 Red 二 4。 这 会 造成 

错位 。 当 然 ， 由 于 enum 自 动 排列 取 值 ， 添 加 enum 项 也 是 不 安全 的 (在 
末尾 添加 除外 ) 。 


给 class Bar 增 加 数据 成 员 ， 造 成 sizeof(Bar) 变 大 ， 以 及 内 部 数据 成 
员 的 offset 变 化 ， 这 是 不 是 安全 的 ? 通常 不 是 安全 的 ， 但 也 有 例外 。 


:如 果 客 户 代 码 里 有 new Bar， 那 么 肯定 不 安全 ， 因 为 new 的 字 节 数 
不 够 装 下 新 Bar 对 象 。 相 反 ， 如 果 library 通 过 factory 返 回 Bar* (并 通过 
factory 来 销毁 对 象 ) 或 者 直接 返回 shared_ptr<Bar>， 客 户 端 不 需要 用 到 
sizeof(Bar)， 那 么 可 能 是 安全 的 。 

:如果 客 户 代码 里 有 Bar* pBar; pBar->memberA 二 xx;， 那 么 肯定 不 
安全 ， 因 为 memberA 的 新 Bar 的 偏 移 可 能 会 变 。 相 反 ， 如 果 只 通过 成 员 
疯 数 来 访问 对 象 的 数据 成 员 ， 客 户 端 不 需要 用 到 data member 的 offsets， 
那么 可 能 是 安全 的 。 

:如 果 客 户 调 用 pBar->setMemberA(xx);， 而 Bar::setMemberA0) 是 个 
inline 闵 数 ， 那 么 肯定 不 安全 ， 因 为 偏 移 量 已 经 被 inline 到 客户 的 二 进 制 | 
代码 里 了 。 如 果 setMemberA0O 是 “outline” 国 数 ， 其 实现 位 于 shared 
library 中 ， 会 随 着 Bar 的 更 新 而 更 新 ， 那 么 可 能 是 安全 的 。 


那么 只 使 用 header-only 的 库 文 件 是 不 是 安全 呢 ? 不 一 定 。 如 果 你 的 
程序 用 了 boost 1.36.0， 而 你 依赖 的 某 个 library 在 编译 的 时 候 用 的 是 
1.33.1， 那 么 你 的 程序 和 这 个 library 就 不 能 正常 工作 。 因 为 1.36.0 和 
1.33.1 的 boost::function 的 模板 参数 类 型 的 个 数 不 一 样 ， 后 者 多 了 一 个 
allocatoro 

这 里 有 一 份 黑 名 单 ， 列 在 这 里 的 肯定 是 二 进 制 不 兼容 的 ， 没 有 列 
出 的 也 可 能 是 二 进 制 不 兼容 的 ， 见 KDE 的 文档 :。 


11.2.3 ”哪些 做 法 多 半 是 安全 的 


前 面 我 说 “不 能 轻易 修改 ”"， 暗 示 有 些 改动 多 半 是 安全 的 ， 这 里 有 
一 份 白 名 单 ， 欢 迎 添 加 更 多 内 容 。 

只 要 库 改动 不 影响 现 有 的 可 执行 文件 的 二 进 制 代码 的 正确 性 ， 那 
么 就 是 安全 的 ， 我 们 可 以 先 部 署 新 的 库 ， 让 现 有 的 二 进 制程 序 受 益 。 


.增加 新 的 class。 

增加 non-virtual 成 员 函 数 或 static 成 员 孙 数 。 

-修改 数据 成 员 的 名 称 ， 因 为 生产 的 二 进 制 代码 是 按 偏 移 量 来 访问 
的 。 当 然 ， 这 会 造成 源码 级 的 不 兼容 。 

:还 有 很 多 ， 不 一 一 列举 了 。 


11.2.4 ”反面 教材 : COM 


在 C++ 中 以 虚 函 数 作为 接口 基本 上 就 跟 二 进 制 兼容 性 说 “bye-bye>” 
了 。 上 有 具体 地 说 ， 以 只 包含 虚 了 图 数 的 class ( 称 为 interface class) 作为 程序 
库 的 接口 ， 这 样 的 接口 是 僵硬 的 ， 一 旦 发 布 ， 无 法 修改 。 

另外 ，Windows 下 ，Visual C++ 编译 的 时 候 要 选择 Release 或 Debug 
模式 ， 而 且 Debug 模 式 编译 出 来 的 library 通 常 不 能 在 Release binary 中 使 
用 〈 反 之 亦 然 ) ， 这 也 是 因为 两 种 模式 下 的 CRT 二 进 制 不 兼容 (主要 是 
内 存 分 配方 面 ，Debug 有 自己 的 短 记 (bookkeeping) ) 。Linux 就 没有 
这 个 麻烦 ， 可 以 混用 。 


11.2.5 ”解决 办 法 
采用 静态 链接 


这 里 的 静态 链接 不 是 指使 用 静态 库 (.a) ， 而 是 指 完全 从 源码 编译 
出 可 执行 文件 (8§10.5.3) 。 在 分 布 式 系统 里 ， 采 用 静态 链接 也 带 来 部 
署 上 的 好 人 处， 只 要 把 可 执行 文件 放 到 机 器 上 就 能 运行 ， 不 用 考虑 它 依 
赖 的 libraries。 目 前 muduo 就 是 采用 静态 链接 。 


通过 动态 库 的 版 本 管理 来 控制 兼容 性 


这 需要 非常 小 心地 检查 每 次 改动 的 二 进 制 兼容 性 并 做 好 发 布 计 
划 ， 比 如 1.0.x 版 本 系列 之 间 做 到 二 进 制 兼 容 ，1.1.x 版 本 系列 之 间 做 到 


二 进 制 兼 容 ， 而 1.0.x 和 1.1.x 不 必 二 进 制 兼容 。 《程序 员 的 自我 修养 》 
[LLL] 讲 了 .so 文件 的 命名 与 二 进 制 兼容 性 相关 的 话题 ， 值 得 一 读 。 


用 pimpl 技 法 ， 编 译 器 防火 墙 


在 头 文 件 中 只 暴露 non-virtual 接 口 ， 并 且 class 的 大 小 固定 为 
sizeof(Impl*)， 这 样 可 以 随意 更 新 库 文件 而 不 影响 可 执行 文件 。 具 体 做 
法 见 811.4。 当 然 ， 这 么 做 又 多 了 一 道 间 接 性 ， 可 能 有 一 定 的 性 能 损 
失 。 另 见 《Exceptional C++》 的 有 关 条 款 和 《C++ 编 程 规 范 》[CCS， 条 
款 43]。 


11.3 ”避免 使 用 虚 函 数 作为 库 的 接口 


作为 C++ 动态 库 的 作者 ， 应 当 避 免 使 用 虚 函 数 作为 库 的 接口 。 这 人 么 
做 会 给 保持 二 进 制 兼容 性 带 来 很 大 麻烦 ， 不 得 不 增加 很 多 不 必要 的 
interfaces， 最 终 重 蹈 COM 的 覆 略 。 

本 节 主 要 讨论 Linux x86/x86-64 平 台 ， 下 面 会 继续 举 Windows/COM 
作为 反面 教材 。 本 节 是 811.2“ 程 序 库 的 二 进 制 兼容 性 ”的 延续 ， 在 初次 
发 表 8$11.2 内 容 的 时 候 ， 我 原本 以 为 大 家 都 对 “以 C++ 虚 函 数 作为 接口 ” 
的 害处 达成 了 共识 ， 因 此 就 写 得 比较 简略 ， 但 现在 看 来 情况 并 非 如 
此 ， 我 还 得 展开 谈 一 谈 。 

“接口 ?有 广义 和 狭义 之 分 ， 本 节 用 中 文 “ 接 口 ? 表 示 广 义 的 接口 ， 即 
一 个 库 的 代码 界面 ; 用 英文 interface 表 示 狱 义 的 接口 ， 即 只 包含 virtual 
function 的 class， 这 种 class 通 常 没 有 data member， 在 Java 里 有 一 个 专门 
的 关键 字 interface 来 表示 它 。 


11.3.1 C++ 程 序 库 的 作者 的 生存 环境 


假设 你 是 一 个 shared library 的 维护 者 ， 你 的 library 被 公司 另外 的 两 
三 个 团队 使 用 了 。 你 发 现 了 一 个 安全 漏洞 ， 或 者 某 个 会 导致 crash 的 bug 
需要 紧急 修复 ， 那 么 你 修复 之 后 ， 能 不 能 直接 部 署 library 的 二 进 制 文 


件 ? 有 没有 破坏 二 进 制 兼容 性 ? 会 不 会 破坏 别人 团队 已 经 编译 好 的 投 
入 生成 环境 的 可 执行 文件 ?是 不 是 要 强迫 别 的 团队 重新 编译 链接 ， 把 
可 执行 文件 也 发 布 新 版 本 ? 会 不 会 打 乱 别人 的 release cycle? 这 些 都 是 
工程 开发 中 经 常 要 遇 到 的 问题 。 

如 果 你 打算 新 写 一 个 C++ library， 那 么 通常 要 做 以 下 几 个 决策 : 


以 什么 方式 发 布 ? 动态 库 还 是 静态 库 ? (本 节 不 考虑 源 代码 发 布 
这 种 情况 ， 这 其 实 和 静态 库 类 似 。) 

以 什么 方式 暴露 库 的 接口 ? 可 选 的 做 法 有 : 以 全 局 ( 含 namespace 
级 别 ) 加 数 为 接口 、 以 class 的 non-virtual 成 员 国 数 为 接口 、 以 virtual 国 
数 为 接口 。 

Java 程 序 员 不 需要 考虑 这 么 多 ， 直 接 写 class 成 员 遂 数 就 行 ， 最 多 考 
虑 一 下 要 不 要 给 method 或 class 标 上 final。 也 不 必 考 虑 什么 动态 库 、 静 态 
库 ， 都 是 .jar 文 件 。 

在 作出 上 面 两 个 决策 之 前 ， 我 们 考虑 两 个 基本 假设 : 

-代码 会 有 bug， 库 也 不 例外 。 将 来 可 能 会 发 布 bug fixes。 

:会 有 新 的 功能 需求 。 写 代码 不 是 一 锤子 买卖 ， 总 是 会 有 新 的 需求 
冒 出 来 ， 需 要 程序 员 往 库 里 增加 东西 。 这 是 好 事情 ， 让 程序 员 不 丢 饭 
砚 。 


也 就 是 说 ， 在 设计 库 的 时 候 必须 要 考虑 将 来 如 何 升级 。 如 果 你 的 
代码 第 一 次 发 布 的 时 候 就 已 经 做 到 完美 ， 将 来 不 需要 任何 修改 ， 那 么 
怎么 做 都 行 ， 也 就 不 必 继 续 阅 读本 节 内 容 了 。 

基于 以 上 两 个 基本 假设 来 做 决定 。 第 一 个 决定 很 好 做 ， 如 果 需 要 
hot fix， 那 么 只 能 用 动态 库 ; 否则 ， 在 分 布 式 系统 中 使 用 静态 库 更 容易 
部 署 ， 这 在 前 面 已 经 谈 过 。“ 动 态 库 比 静 仿 库 节约 内 存 ” 这 种 优势 在 今 
天 看 来 已 不 太 重要 。 

下 面 假定 你 或 者 你 的 老板 选择 以 动态 库 方 式 发 布 ， 即 发 布 .so 或 .dl 
文件 ， 来 看 看 第 二 个 决定 怎么 做 。 再 说 一 句 ， 如 果 你 能 够 以 静态 库 方 
式 发 布 ， 后面 的 麻烦 都 不 会 遇 到 |。 


第 二 个 决定 不 那么 容易 做 ， 关 键 问题 是 ， 要 选择 一 种 可 扩展 的 
(extensible) 接口 风格 ， 让 库 的 升级 变 得 更 轻松 。“ 升 级 ”有 两 层 意 
田 . 


/CN 。 


.对 于 bug fix only 的 升级 ， 二 进 制 库 文 件 的 替换 应 该 兼容 现 有 的 二 
进 制 可 执行 文件 。 二 进 制 兼容 性 方面 的 问题 已 经 在 前 面谈 过 ， 这 里 从 
略 。 

.对 于 新 增 功能 的 升级 ， 应 该 对 客户 代码 友好 。 升 级 库 之 后 ， 客 户 
端 使 用 新 功能 的 代价 应 该 比较 小 。 只 需要 包含 新 的 头 文件 (这 一 步 可 
以 省 略 ， 如 果 新 功能 已 经 加 入 原 有 的 头 文件 中 ) ， 然 后 编写 新 代码 即 
可 。 而 且 ， 不 要 在 客 尸 代码 中 留 下 垃圾 ， 后 面 我 们 会 谈 到 什么 是 垃 
圾 。 


在 讨论 虚 函 效 接口 的 浆 端 之 前 ， 我 们 先 看 看 虚 孙 效 做 接口 的 常见 用 
法 。 


11.3.2 ” 虚 函 数 作为 库 的 接口 的 两 大 用 途 
上 庶 了 为 数 作 为 接口 大 致 有 这 么 两 种 用 法 : 


:调用 ， 也 就 是 库 提供 一 个 什么 功能 (比如 绘图 Graphics) ， 以 虚 
函数 为 接口 方式 暴露 给 客户 端 人 代码。 客户 端 代码 一 般 不 需要 继承 这 个 
interface， 而 是 直接 调用 其 member function。 这 么 做 据说 是 有 利于 接口 
和 实现 分 离 ， 我 认为 纯 属 多 此 一 举 、 自 其 其 人 。 

:回调 ， 也 就 是 事件 通知 ， 比 如 网 络 库 的 “连接 建立 ` “数据 到 
达 ”“ 连 接 断 开 ” 等 等 。 客 户 端 代码 一 般 会 继承 这 个 interface， 然 后 把 对 
象 实体 注册 到 库 里 边 ， 等 库 来 回调 自己 。 一 般 来 说 客户 端 不 会 自己 去 
调用 这 些 member function， 除 非 是 为 了 写 单 元 测试 模拟 库 的 行为 。 

:混合 ， 一 个 class 既 可 以 被 客户 端 代码 继承 用 作 回调 ， 又 可 以 被 客 
户 端 直接 调用 。 说 实话 我 没 看 出 这 么 做 的 好 处 ， 但 实际 中 某 些 面向 对 
象 的 C++ 库 就 是 这 么 设计 的 。 


对 于 “回调 ?方式 ， 现 代 C++ 有 更 好 的 做 法 ， 即 
boost::function+boost::bind。muduo 的 回调 即 采 用 这 种 新 方法 
(811.5) 。 以 下 不 考虑 以 虚 函 数 为 回调 的 过 时 做 法 。 
对 于 “调用 ”方式 ， 这 里 举 一 个 虚构 的 图 形 库 来 说 明 问 题 。 这 个 库 
的 功能 是 男 线 、 国 和 矩 形 、 画 圆 级 : 


struct Point 
{ 

Thnkt Xs 

int x 

3 


class Graphics 


{ 
virtual void drawLine(int x0@, int y@, int x1, int y1); 
virtual void drawLine(Point p0@, Point p1); 


virtual void drawRectangle(int x0, int y0@, int x1, int y]1); 
virtual void drawRectangle(Point p@, Point p1); 


virtual void drawArc(int x, int y, int r); 
virtual void drawArc(Point p, int r); 


这 里 略 去 了 很 多 与 本 文 主题 无 关 的 细节 ， 比 如 Graphics 的 构造 与 析 
构 、draw*0 国 数 应 该 是 public、Graphics 应 该 不 允许 复制 ， 还 比如 
Graphics 可 能 会 用 pure virtual functions 等 等 ， 这 些 都 不 影响 本 文 的 讨 
论 。 

这 个 Graphics 库 的 使 用 很 简单 ， 客 户 端 看 起 来 是 这 个 样子 。 
Graphicsx g = getGraphics(); 
g->drawLine(0, 0, 100, 200); 
releaseGraphics(g) ; 

似乎 一 切 都 很 好 ， 阳 光明 媚 ， 符 合 “ 面 向 对 象 的 原则 ”， 但 是 一 旦 
考虑 升级 ， 前 景 立刻 变 得 错 暗 。 


11.3.3” 虚 函 数 作 为 接口 的 况 端 


以 虚 函 数 作为 接口 在 二 进 制 兼容 性 方面 有 本 质 困 难 :“ 一 旦 发 布 ， 


不 能 修改 "。 


假如 我 需要 给 Graphics 增 加 几 个 绘图 族 效 ， 同 时 保持 二 进 制 兼容 
性 。 这 几 个 新 阔 数 的 坐标 以 浮 点 数 表示 ， 我 理想 中 的 新 接口 是 : 


--- old/graphics.h 2011-03-12 13:12:44.000000000 +0800 
+++ new/graphics.h 2011-03-12 13:13:30.000000000 +0800 
class Graphics 


{ 
virtual 
+ virtual 
virtual 


virtual 
+ virtual 
virtual 


virtual 
+ virtual 
virtual 


void 
void 
void 


void 
void 
void 


void 
void 
void 


drawLine(int x0@, int y@, int x1, int y]1); 
drawLine(double x@，double y@, double x1, double y1); 
drawLine(Point p@, Point p1); 


drawRectangle(int x0, int y0, int x1, int y]1); 
drawRectangle(double x0@, double y0@, double x1, double y1); 
drawRectangle(Point p0@, Point pl1) ; 


drawArc(int x, int y, int r); 
drawArc(double x, double y, double r); 
drawArc(Point p, int r); 


受 C++ 二 进 制 兼容 性 方面 的 限制 ， 我 们 不 能 这 么 做 。 其 本 质问 题 在 
于 C++ 以 vtable[offset] 方 式 实现 虚 函 数 调用 ， 而 offset 又 是 根据 虚 函 数 声 
明 的 位 置 隐 式 确定 的 ， 这 造成 了 脆弱 性 。 我 增加 了 drawLine(double x0， 
double y0, double x1, double y1)， 造 成 vtable 的 排列 发 生 了 变化 ， 现 有 的 
二 进 制 可 执行 文件 无 法 再 用 旧 的 offset 调 用 到 正确 的 函数 。 

怎么 办 呢 ? 有 一 种 危险 且 丑 陋 的 做 法 ， 即 把 新 的 虚 函 数 放 到 


interface 的 末尾 : 


--- old/graphics.h 2011-03-12 13:12:44.000000000 +0800 
+++ new/graphics.h 2011-03-12 13:58:22.000000000 +0800 
class Graphics 
{ 
virtual void drawLine(int x0@, int y@, int x1, int y1) ; 
virtual void drawLine(Point p@, Point p1) ; 


virtual void drawRectangle(int x@, int y@, int x1, int y1); 
virtual void drawRectangle(Point p00, Point p1) ; 


virtual void drawArc(int x, int y, int r); 
virtual void drawArc(Point p, int r); 


virtual void drawLine(double x0, double y8, double x1, double y1); 
virtual void drawRectangle(double x8@, double y@, double x1, double y1); 
virtual void drawArc(double x, double y, double r); 


十 十 十 十 


); 

这 么 做 很 丑陋 ， 因 为 新 的 drawLine(double x0, double y0, double x1, 
double y1) 罗 数 没有 和 原来 的 drawLine() 郊 数 待 在 一 起 ， 造 成 了 阅读 上 的 
不 便 。 这 么 做 同时 很 危险 ， 因 为 Graphics 如 果 被 继承 ， 那 么 新 增 虚 函数 
会 改变 派生 类 中 的 vtable offset 变 化 ， 同 样 不 是 二 进 制 兼容 的 。 

另外 有 两 种 似乎 安全 的 做 法 ， 这 也 是 COM 采 用 的 办 法 : 

1. 通过 链 式 继承 来 扩展 现 有 的 interface， 例 如 从 Graphics 派 生出 
Graphics2。 


--- graphics.h 2011-03-12 13:12:44.000000000 +0800 
+++ graphics2.h 2011-03-12 13:58:35.000000000 +0800 


class Graphics 


{ 


virtual void drawLine(int x0, int y@, int x1, int y]1); 
virtual void drawLine(Point p@, Point p1); 


virtual void drawRectangle(int x0@, int y@, int x1, int y1) ; 
virtual void drawRectangle(Point p0@, Point pi1); 


virtual void drawArc(int x, int y, int r); 
virtual void drawArc(Point p, int r); 


3} 


十 


+class Graphics2 : 


+{ 


十 十 十 十 十 十 十 + 


十 
cm 


using Graphics : 
using Graphics: 
using Graphics: : 


public Graphics 


:drawLine; 
:drawRectangle; 


drawArc; 


// added in version 2 

virtual void drawLine(double x0, double y8, double x1, double y1); 
virtual void drawRectangle(double x0, double y8, double x1, double y1); 
virtual void drawArc(double x, double y, double r); 


将 来 如 果 继 续 增加 功能 ， 那 么 还 会 有 class Graphics3 : public 
Graphics2， 以 及 class Graphics4 : public Graphics3 等 等 。 这 么 做 和 前 面 
的 做 法 一 样 丑陋 ， 因 为 新 的 drawLine(double x0, double y0, double x1， 
double yl1) 孜 数位 于 派生 Graphics2 interface 中 ， 没 有 和 原来 的 drawLine0) 
函数 待 在 一 起 ， 造 成 了 割裂 。 

通过 多 重 继承 来 扩展 现 有 的 interface， 例 如 定义 一 个 与 Graphics 
class 有 同样 成 员 的 Graphics2， 再 让 实现 同时 继承 这 两 个 interface。 


--- graphics.h 2011-03-12 13:12:44.000000006 +0800 
+++ graphics2.h 2011-03-12 13:16:45.000000000 +0800 


class Graphics 

{ 
virtual void drawLine(int x0, int y@, int x1, int y1); 
virtual void drawLine(Point p00, Point p1) ; 


virtual void drawRectangle(int x0@, int y0, int x1, int y1); 
virtual void drawRectangle(Point p0@, Point p1) ; 


virtual void drawArc(int x, int y, int r); 
virtual void drawArc(Point p, int r); 
3 
+ 
+class Graphics2 
+ 
virtual void drawLine(int x0, int y@, int x1, int y1); 
virtual void drawLine(double x0, double y8@, double x1, double y1); 
virtual void drawLine(Point p08@, Point p1) ; 


virtual void drawRectangle(int x0@, int y0, int x1, int y1); 
virtual void drawRectangle(double x8@, double y0, double x1, double y1) ; 
virtual void drawRectangle(Point p00, Point pl1); 


virtual void drawArc(int x, int y, int r); 
virtual void drawArc(double x, double y, double r); 
virtual void drawArc(Point p, int r); 


二 十 十 十 十 十 十 十 十 二 十 


下 

+// 在 实现 中 采用 多 重 接口 继承 

+class GraphicsImp1 : public Graphics， // version 1 
十 public Graphics2, // version 2 


+{ 
二， 这 的 
人 

这 种 带 版 本 的 interface 的 做 法 在 COM 使 用 者 的 眼中 看 起 来 是 很 正常 
的 (比如 IXMLDOMDocument、IXMLDOMDocument2、 
IXMLDOMDocument3， 又 比如 ITaskbarList、ITaskbarList2、 
ITaskbarList3、ITaskbarList4 等 等 ) ， 这 解决 了 二 进 制 兼容 性 的 问题 ， 
客户 端 源 代码 也 不 受 影响 。 

在 我 看 来 带 版 本 的 interface 实 在 是 很 丑陋 ， 因 为 每 次 改动 都 引入 了 
新 的 interface class， 会 造成 日 后 客户 端 代 码 难 以 管理 。 比 如 ， 如 果 新 版 


应 用 程序 的 代码 使 用 了 Graphics3 的 功能 ， 要 不 要 把 现 有 代码 中 出 现 的 
Graphics2 都 替换 掉 ? 


.如 果 不 替 换 ， 一 个 程序 同时 依赖 多 个 版 本 的 Graphics， 一 直 背 着 历 
史 包 容 。 依 赖 的 Graphics 版 本 越 积 越 多 ， 将 来 如 何 管理 得 过 来 ? 

.如 果 要 替换 ， 为 什么 不 相干 的 代码 ( 现 有 的 运行 得 好 好 的 使 用 
Graphics2 的 代码 ) 也 会 因为 别处 用 到 了 Graphics3 而 被 修改 ? 


这 种 两 难 境地 纯粹 是 “以 虚 遂 数 为 库 的 接口 ”造成 的 。 如 果 我 们 能 
直接 原 地 扩充 class Graphics， 就 不 会 有 这 些 麻 烦 事 ， 见 $11.4“ 动 态 库 接 
口 的 推荐 做 法 ”。 


11.3.4 ”假如 Linux 系 统 调用 以 COM 接 口 方式 实现 


或 许 上 面 这 个 Graphics 的 例子 太 简单 ， 没 有 让 “以 虚 函 数 为 接口 ”的 
缺点 充分 暴露 出 来 ， 下 面 让 我 们 看 一 个 真实 的 案例 : Linux Kernel。 

Linuxkernel 从 0.01 的 67 个 系统 调用 :发 展 到 2.6.37 的 340 个 系统 调用 : 
，kernel interface 一 直 在 扩充 ， 而 且 保 持 展 好 的 兼容 性 ， 它 保持 兼容 性 
的 办 法 很 士 ， 就 是 给 每 个 system call 赋 予 一 个 终身 不 变 的 数字 代号 ， 等 
于 把 虚 函 数 表 的 排列 固定 下 来 。 打 开 脚 注 中 的 两 个 链接 ， 你 就 能 看 到 
fork() 在 Linux 0.01 和 Linux 2.6.37 里 的 代号 都 是 2。 (系统 调用 的 编号 跟 
硬件 平台 有 关 ， 这 里 我 们 看 的 是 x86 32-bit 平 台 。 ) 

试想 假如 Linus 当 初 选择 用 COM 接 口 的 链 式 继承 风格 来 描述 ， 将 会 
是 怎样 一 种 壮观 的 景象 ? 为 了 避免 扰乱 视线 ， 请 移 步 观看 近 百 层 继承 
的 代码 2。 

不 要 误 认 为 “接口 一 旦 发 布 就 不 能 更 改 * 是 天 经 地 义 的 ， 那 不 过 是 
“以 C++ 虚 水 数 为 接口 ”的 固有 次 端 ， 如 果 跳 出 这 个 框框 去 思考 ， 其 实 
C++ 库 的 接口 很 容易 做 得 更 好 。 为 什么 不 能 改 ? 还 不 是 因为 用 了 C++ 虚 
孙 数 作为 接口 。Java 的 interface 可 以 添加 新 函数 ，C 语 言 的 库 也 可 以 添 
加 新 的 全 局 函数 ，C++ class 也 可 以 添加 新 non-virtual 成 员 函 数 和 
namespace 级 别 的 non-member 国 数 ， 这 些 都 不 需要 继承 出 新 interface 就 


能 扩充 原 有 接口 。 偏 偏 COM 的 interface 不 能 原 地 扩充 ， 只 能 通过 继承 来 
workaround， 产 生 一 堆 带 版 本 的 interfaces。 有 人 说 COM 是 二 进 制 兼容 
性 的 正面 例子 ， 某 深 不 以 为 然 。COM 确 实 以 一 种 最 丑陋 的 方式 做 到 了 
“二 进 制 兼容 ”。 脆 弱 和 僵硬 就 是 以 C++ 虚 阔 数 为 接口 的 宿命 。 

相反 ，Linux 系 统 调用 的 编号 以 编译 期 常数 方式 固定 下 来 ， 万 年 不 
变 ， 轻 而 易 举 地 解决 了 这 个 问题 。 在 其 他 面向 对 象 语言 (Java/C#) 
中 ， 我 也 没有 见 过 每 改动 一 次 就 给 interface 递 增 版 本 号 的 诡异 做 法 。 

还 是 应 了 《The Zen of Python》 中 的 那 句 话 : “Explicit is better than 
implicit, Flat is better than nested.” 


11.3.5 ”Java 是 如 何 应 对 的 


Java 实 际 上 把 C/C++ 的 linking 这 一 步骤 推迟 到 class loading 的 时 候 来 
做 。 就 不 存在 “不 能 增加 虚 函 数 ", “不 能 修改 data member” 等 问题 。 在 
Java 中 用 面向 interface 编 程 远 比 C++ 更 通用 和 自然 ， 也 没有 上 面 提 到 的 
“僵硬 的 接口 ?问题 。 


11.4 ”动态 库 接口 的 推荐 做 法 


取决 于 动态 库 的 使 用 范围 ， 有 两 类 做 法 。 

其 一 ， 如 果 动 态 库 的 使 用 范围 比较 罕 ， 比 如 本 团队 内 部 的 两 三 个 
程序 在 用 ， 用 户 都 是 受 控 的 ， 要 发 布 新 版 本 也 比较 容易 协调 ， 那 么 不 
用 太 费 事 ， 只 要 做 好 发 布 的 版 本 管理 就 行 了 。 再 在 可 执行 文件 中 使 用 
rpath 把 库 的 完整 路 径 确定 下 来 。 

比如 现在 Graphics 库 发 布 了 1.1.0 和 1.2.0 两 个 版 本 ， 这 两 个 版 本 可 以 
不 必 是 二 进 制 兼容 的 。 用 户 的 代码 从 1.1.0 升 级 到 1.2.0 的 时 候 要 重新 编 
译 一 下 ， 反 正 他 们 要 用 新 功能 都 是 要 重新 编译 代码 的 。 如 果 要 原 地 打 
补丁 ， 那 么 1.1.1 应 该 和 1.1.0 二 进 制 兼容 ， 而 1.2.1 应 该 和 1.2.0 兼 容 。 如 
果 要 加 入 新 的 功能 ， 而 新 的 功能 与 1.2.0 不 兼容 ， 那 么 应 该 发 布 到 1.3.0 
版 本 。 


为 了 便于 检查 二 进 制 兼容 性 ， 可 考虑 把 库 的 代码 的 暴露 情况 分 辨 
清楚 。muduo 的 头 文 件 和 class 就 有 意识 地 分 为 用 户 可 见 和 用 户 不 可 见 两 
部 分 (86.3) 。 对 于 用 户 可 见 的 部 分 ， 升 级 时 要 注意 二 进 制 兼容 性 ， 选 
用 合理 的 版 本 号 ; 对 于 用 户 不 可 见 的 部 分 ， 在 升级 库 的 时 候 就 不 必 在 
意 。 另 外 muduo 本 身 设 计 来 是 以 源 文件 方式 发 布 的， 在 二 进 制 兼容 性 方 
面 没有 做 太 多 的 考虑 。 

其 二 ， 如 果 库 的 使 用 范围 很 广 ， 用 户 很 多 ， 各 家 的 release cycle 不 
尽 相 同 ， 那 么 推荐 pimpl 技 法 cc 知 5 ， 并 考虑 多 采用 non-member non- 
friend function in namespacesc' sirccs ges 作为 接口 。 这 里 以 前 面 的 
Graphics 为 例 ， 说 明 pimpl 的 基本 手法 。 

1. 暴露 的 接口 里 边 不 要 有 虚 遂 数 ， 要 显 式 声 明 构 造 疯 数 、 析 构 遂 
数 ， 并 且 不 能 inline， 原 因 见 $810.3.2。 另 外 sizeof(Graphics) == 
sizeof(Graphics::Impl*)o 


graphics.h 
class Graphics 


public: 
Graphics(); // outline ctor 
~Graphics(); // outline dtor 


void drawLine(int x0@, int y@, int x1, int y1); 
void drawLine(Point p8@, Point p1); 


void drawRectangle(int x0@, int y0, int x1, int y1); 
void drawRectangle(Point p98, Point pl1); 


void drawArc(int x, int y, int r); 
void drawArc(Point p, int r); 


private: 
class Impl; // 头 文件 只 放声 明 
boost::scoped_ptr<Impl> impl; 
Ds 


graphics.h 


2. 在 库 的 实现 中 把 调用 转发 (forward) 给 实现 Graphics::Impl， 这 
部 分 代码 位 于 .so/.dl 中 ， 随 库 的 升级 一 起 变化 。 


graphics.cc 
#include <graphics.h> 


class Graphics::Impl 


{ 
public: 
void drawLine(int x@, int y@, int x1, int y1) ; 
void drawLine(Point p@, Point p1); 
void drawRectangle(int x0@, int y0, int x1, int y1); 
void drawRectangle(Point p@, Point pl1); 
void drawArc(int x, int y, int r); 
void drawArc(Point p, int r); 
}; 


Graphics: :Graphics() 
: impl (new Impl) 

t 

} 


Graphics: :~Graphics() 
t 
} 


void Graphics::drawLine(int x@, int y0, int x1, int y1) 


{ 
} 


impl->drawLine(x0@, y0, x1, y1); 


void Graphics: :drawLine(Point p@, Point p1) 


{ 
impl->drawLine(p@, pl1); 
} 


ii 
graphics.cc 


3. 如 果 要 加 入 新 的 功能 ， 不 必 通 过 继承 来 扩展 ， 可 以 原 地 修改 ， 
且 很 容易 你 持 二 进 制 兼容 性 。 先 动 头 文件 : 


--- old/graphics.h 2011-03-12 15:34:06.0000000006 +0800 
+++ new/graphics.h 2011-03-12 15:14:12.000000000 +0800 


class Graphics 

{ 

public: 
Graphics(); // outline ctor 
~Graphics(); // outline dtor 


void drawLine(int x0@, int y@, int x1, int y1); 
+ void drawLine(double x8, double y@, double x1, double y1); 
void drawLine(Point p@, Point p1); 


void drawRectangle(int xo，int y@, int x1, int y1); 
+ void drawRectangle(double x0, double y8, double x1, double y1); 
void drawRectangle(Point p08@, Point p1); 


void drawArc(int x, int y, int r); 
+ void drawArc(double x, double y, double r); 
void drawArc(Point p, int r); 


private: 
class Impl; 
boost::scoped_ptr<Impl> impl; 
1 
然后 在 实现 文件 里 增加 forward， 这 么 做 不 会 破坏 二 进 制 兼 容 性 ， 
因为 增加 non-virtual 函 数 不 影响 现 有 的 可 执行 文件 。 


--- old/graphics.cc 2811-83-12 15:15:20.000000000 +0800 
+++ new/graphics.cc 2811-83-12 15:15:26.000000000 +0800 
ee -1,35 +1,43 @@ 

#include <graphics.h> 


class Graphics::Impl 

{ 
public: 
void drawlLine(int x@, int y8, int x1, int yi]1); 

+ void drawLine(double x8, double y8, double x1, double yi1); 
void drawLine(Point p@, Point pi1); 


void drawRectangle(int x@, int y8, int x1, int y1); 
+ void drawRectangle(double x@, double y8, double x1, double y1); 
void drawRectangle(Point p@, Point pi1); 


void drawArc(int x, int y, int r); 
+ void drawArc(double x, double y, double r); 
void drawArc(Point p, int r); 
}} 


Graphics::Graphics() 
: impl (new Imp]) 

{ 

} 


Graphics::~Graphics() 
{ 
} 


void Graphics: :drawLine(int x8, int y@, int x1, int y1) 
{ 

impl->drawLine(x8, y@, x1, y1); 
} 


+void Graphics: :drawLine(double x8, double y8, double x1, double Y1) 
+{ 

+ impl->drawLine(x@, y0, x1, y]1); 

+} 

十 

void Graphics: :drawLine(Point p@, Point pl1) 


{ 
impl->drawLine (p@, p1); 
} 


采用 pimpl 多 了 一 道 explicit forward 的 手续 ， 带 来 的 好 处 是 可 扩展 性 
与 二 进 制 兼容 性 ， 这 通常 是 划算 的 。pimp]l 扮 演 了 编译 器 防火 墙 的 作 
用 。 


pimpl 不 仅 C++ 语 言 可 以 用 ，C 语 言 的 库 同 样 可 以 用 ， 一 样 带 来 二 进 
制 兼容 性 的 好 处 ， 比 如 libevent2 中 的 struct event_base 是 个 opaque 
pointer， 客 户 端 看 不 到 其 成 员 ， 都 是 通过 libevent 的 函数 和 它 打 交道 ， 
这 样 库 的 版 本 升级 比较 容易 做 到 二 进 制 兼容 。 

为 什么 non-virtual 国 数 比 virtual 孙 数 更 健壮 ? 因为 virtual function 是 
bind-byvtable-offset， 而 non-virtual function 是 bind-by-name。 加 载 器 

(loader) 会 在 程序 启动 时 做 决议 (resolution) ， 通 过 mangled name 把 

可 执行 文件 和 动态 库 链 接 到 一 起 。 就 像 使 用 Internet 域 名 比 使 用 IP 地 址 
更 能 适应 变化 一 样 。 

万 一 要 跨 语言 怎么 办 ?很 简单 ， 暴 露 C 语 言 的 接口 。Java 有 JNI 可 
以 调用 C 语 言 的 代码 ; Python/PeryRuby 等 的 解释 器 都 是 C 语 言 编 写 的 ， 
使 用 C 函 数 也 不 在 话 下 。C 国 数 是 Linux 下 的 万 能 接口 。 

本 节 只 谈 了 使 用 class 为 接口 ， 其 实用 free function 有 时 候 更 好 ( 比 
如 muduo/base/Timestamp.h 除了 定义 class Timestamp 外 ， 还 定义 了 
muduo::timeDifference() 等 free function) ， 这 也 是 C++ 比 Java 等 纯 面向 对 
象 语言 优越 的 地 方 。 


11.5 ”以 boost::function 和 boost::bind 取 代 虚 疯 数 


本 节 的 中 心思 想 是 “面向 对 象 的 继承 就 像 一 条 贼 船 ， 上 去 就 下 不 来 
了 ”， 而 借助 boost::function 和 boost::bind， 大 多 数 情 况 下 ， 你 都 不 用 上 
“ 贼 船 ”。 

boost::function 和 boost::bind 已 经 纳入 了 std::tr1， 这 或 许 是 C++11 最 
值得 期 待 的 功能 ， 它 将 彻底 改变 C++ 库 的 设计 方式 ， 以 及 应 用 程序 的 编 
与 方式 。 

Scott Meyers 的 [EC3， 条 款 35] 提 到 了 以 boost::function 和 boost:bind 
取代 虚 函 数 的 做 法 ， 另 见 和 孟 岩 的 《function/bind 的 救赎 (上 ) 》>、 
《回复 几 个 问题 》2 中 的 “四 个 半 抽 象 ”， 这 里 谈 谈 我 自己 使 用 的 感受 。 

我 对 面向 对 象 的 “继承 "和 “多 态 ” 的 态度 是 能 不 用 就 不 用 ， 因 为 很 难 
纠正 错误 。 如 果 有 一 棵 类 型 继承 树 (class hierarchy) ， 人 们 在 一 开始 


设计 时 就 得 考虑 各 个 class 在 树 上 的 位 置 。 随 着 时 间 的 推 衍 ， 原 来 正确 
的 决定 有 可 能 变 成 错误 的 。 但 是 更 正 这 个 错误 的 代价 可 能 很 高 。 要 想 
把 这 个 class 在 继承 树 上 从 一 个 节点 挪 到 男 一 个 节点 ， 可 能 要 触及 所 有 
用 到 这 个 class 的 客户 代码 ， 所 有 用 到 其 各 层 基 类 的 客户 代码 ， 以 及 从 
这 个 class 派 生出 来 的 全 部 class 的 代码 。 简 直 是 牵 一 发 而 动 全 身 ， 在 
C++ 缺乏 展 好 重 构 工 具 的 语言 下， 有 时 候 只 好 保留 错误 ， 用 些 wrapper 
或 者 adapter 来 掩盖 之 。 久 而 久之 ， 设 计 越 来 越 烂 ， 最 后 只 好 推倒 重 来 = 
。 解 决 办 法 之 一 就 是 不 采用 基于 继承 的 设计 ， 而 是 写 一 些 容易 使 用 也 
容易 修改 的 具体 类 。 

总 之 ， 继 承 和 虚 遂 数 是 万 恶 之 源 ， 这 条 “ 贼 船 ?上 去 就 不 容易 下 
来 。 不 过 还 好 ， 在 C++ 里 我 们 有 别 的 办 法 :以 bpoost::function 和 boost::bind 
取代 虚 函 数 。 

用 “继承 树 ” 这 种 方式 来 建 模 ， 确 实 是 基于 概念 分 类 的 思想 。 “分 类 ” 
似乎 是 西方 哲学 一 早 就 有 的 思想 ， 影 响 深 远 ， 这 种 思想 估计 可 以 上 济 
到 古 希 腊 时 期 。 


:比如 电影 ， 可 以 分 为 科幻 片 、 爱 情 片 、 伦 理 片 、 战 争 片 、 灾 难 
、 候 怖 片 等 等 。 

-比如 生物 ， 按 小 学 知识 可 以 分 为 动物 和 植物 ， 动 物 又 可 以 分 为 有 
丛 椎 动物 和 无 脊 椎 动物 ， 有 痊 椎 动物 又 分 为 鱼 类 、 两 栖 类 、 爬 行 类 、 
乌 类 和 哺乳 类 等 。 

-又 比如 技术 书籍 分 为 电子 类 、 通 信 类 、 计 算 机 类 等 等 ， 计 算 机 书 
籍 又 可 分 为 编程 语言 、 操 作 系统 、 数 据 结 构 、 数 据 库 、 网 络 技术 等 
等 。 


这 种 分 类 法 或 许 是 早期 面向 对 象 方法 的 模仿 对 象 。 这 种 思考 方式 
的 本 质 困难 在 于 : 有 某 些 物体 很 难 准 确 分 类 ， 似 乎 有 不 止 一 个 分 类 适合 
它 。 而 且 不 同 的 人 看 法 可 能 不 同 ， 比 如 一 部 科幻 悬疑 片 到 底 科 幻 的 成 
分 重 还 是 悬疑 的 成 分 重 ， 到 底 该 归 入 哪 一 类 。 


在 编程 方面 ， 情 况 更 糟 ， 因 为 这 个 “物体 xz 是 变化 的 ， 一 开始 分 入 

A 类 可 能 是 合理 的 (x"is-a"A) ， 随 着 功能 演化 ， 分 入 B 类 或 许 更 合适 
(xis more like a B) ， 但 是 这 种 改动 对 现 有 代码 的 代价 已 经 太 高 了 
(特别 对 于 C++) 。 

在 传统 的 面向 对 象 语言 中 ， 可 以 用 继承 多 个 interfaces 来 缓解 分 错 
类 的 代价 ， 使 得 一 物 多 用 。 但 是 某 些 语言 限制 了 基 类 只 能 有 一 个 ， 在 
新 增 类 型 时 可 能 会 遇 到 麻烦 ， 见 星巴克 卖 色 咕 奶 茶 的 例子 #。 

现代 编程 语言 这 一 步 走 得 更 远 ，Ruby 的 duck typing 和 Google Go 的 
无 继承 :都 可 以 看 作 以 tag 取 代 分 类 〈 层 次 化 的 类 型 ) 的 代表 。 一 个 
object 只 要 提供 了 相应 的 operations， 就 能 当做 某 种 东西 来 用 ， 不 需要 显 
式 地 继承 或 实现 某 个 接口 。 这 确实 是 一 种 进步 。 

对 于 C++ 的 四 种 范式 ， 我 现在 基本 只 把 它 当 better C 和 data 
abstraction 来 用 。OO 和 GP 可 以 在 非常 小 的 范围 内 使 用 ， 只 要 暴露 的 接 
口 是 object based (甚至 global function) 就 行 。 

以 上 谈 了 设计 层面 ， 再 来 说 一 说 实现 层面 。 

在 传统 的 C++ 程序 中 ， 事 件 回调 是 通过 虚 函 数 进 行 的。 网 络 库 往 往 
会 定义 一 个 或 几 个 抽象 基 类 (Handler class) ， 其 中 声明 了 一 些 ( 纯 ) 
上 庶 陨 数 ， 如 onConnect0、onDisconnectO0、onMessage(0、onTimer0) 等 
等 。 使 用 者 需要 继承 这 些 基 类 ， 并 履 写 (override) 这 些 虚 函数 ， 以 获 
得 事件 回调 通知 。 由 于 C++ 的 动态 绑 定 只 能 通过 指针 和 引用 实现 ， 使 用 
者 必须 把 派生 类 (MyHandler) 对 象 的 指针 或 引用 隐 式 转换 为 基 类 

(Handler) 的 指针 或 引用 ， 再 注册 到 网 络 库 中 。MyHandler 对 象 通常 是 
动态 创建 的 ， 位 于 堆 上 ， 用 完 后 需要 delete。 网 络 库 调用 基 类 的 虚 疗 
数 ， 通 过 动态 绑 定 机 制 实 际 调用 的 是 用 户 在 派生 类 中 override 的 虚 函 
数 ， 这 也 是 各 种 OO framework 的 通行 做 法 。 这 种 方式 在 Java 这 种 纯 面向 
对 象 语 言 中 是 正当 做 法 s。 但 是 在 C++ 这 种 非 GC 语 言 中 ， 使 用 虑 加 数 作 
为 事件 回调 接口 有 其 本 质 困 难 ， 即 如 何 管理 派生 类 对 象 的 生命 期 。 在 
这 种 接口 风格 中 ，MyHandler 对 象 的 所 有 权 和 生命 期 很 模糊 ， 到 底 谁 

(用 户 还 是 网 络 库 ) 有 权力 释放 它 呢 ? 有 的 网 络 库 甚 至 出 现 了 delete 
this; 这 种 代码 ， 让 人 捏 一 把 汗 : 如 何 才 能 保证 此 刻 程 序 的 其 他 地 方 没有 


保存 着 这 个 即将 销毁 的 对 象 的 指针 呢 ? 另外 ， 如 果 网 络 库 需 要 自己 创 
建 MyHandler 对 象 (比方 说 需要 为 每 个 TCP 连 接 创建 一 个 MyHandler 对 
象 ) ， 那 么 就 得 定义 另外 一 个 抽象 基 类 HandlerFactory， 用 户 要 从 它 派 
生出 MyHandlerFactory， 再 把 后 者 的 指针 或 引用 注册 到 网 络 库 中 。 以 上 
这 些 都 是 面向 对 象 编程 的 常规 思路 ， 或 许 大 家 已 经 习以为常 。 

在 现代 C++ 中 ( 指 2005 年 TR1 之 后 ， 不 是 最 新 的 C++11) ， 事 件 回 
调 有 了 新 的 推荐 做 法 ， 即 boost::function 十 boost::bind ( 即 
std::tr1::function 十 std::trl::bind， 也 是 最 新 C++11 中 的 std::function 十 
std::bind) ， 这 种 方式 的 一 个 明显 优点 是 不 必 担 心 对 象 的 生存 期 。 
muduo 正 是 用 boost::function 来 表示 事件 回调 的 ， 包 括 TCP 网 络 编程 的 三 
个 半 IO 事 件 和 定时 器 事件 等 。 用 户 代 码 可 以 传 入 签名 相同 的 全 局 函 
数 ， 也 可 以 借助 boost::bind 把 对 象 的 成 员 孙 数 传 给 网 络 库 作 为 事件 回调 
的 接受 方 。 这 种 接口 方式 对 用 户 代码 的 class 类 型 没有 限制 〈 不 必 从 特 
定 的 基 类 派生 ) ， 对 成 员 函 数 名 也 没有 限制 ， 只 对 函数 签名 有 部 分 限 
制 。 这 样 自 然 也 解决 了 空 悬 指针 的 难题 ， 因 为 传 给 网 络 库 的 都 是 具有 
值 语义 的 boost::function 对 象 。 从 这 个 意义 上 说 ，muduo 不 是 一 个 面向 对 
象 的 库 ， 而 是 一 个 基于 对 象 的 库 。 因 为 muduo 暴 露 的 接口 都 是 一 个 个 的 
具体 类 ， 完 全 没有 虚 函 数 〈 无 论 是 调用 还 是 回调 ) 。 

言 归 正 传 ， 说 说 boost::function 和 boost::bind 取 代 虚 函数 的 具体 做 
大。 


11.5.1 基本 用 途 
boost::function 就 像 C# 里 的 delegate， 可 以 指向 任何 水 数 ， 包 括 成 员 


疯 数 。 当 用 bind 把 某 个 成 员 函 数 绑 到 某 个 对 象 上 时 ， 我 们 得 到 了 一 个 
closure ( 闭 包 ) 。 例 如 : 


Class Foo 
{ 
public: 
void methodA(); 
void methodInt(int al); 
void methodString(const string& str); 
}; 


class Bar 


public: 
void methodB(); 
}; 


boost: :function<void()> f1; // 无 参数 ， 无 返回 值 


Foo foo; 
fi = boost: :bind(&Foo::methodA, &foo); 
f1(); // 调用 foo.methodA(); 


Bar bar; 
fi = boost: :bind(&Bar::methodB, &bar); 
f1(); // 调用 bar .methodB(); 


fl = boost: :bind(&Foo::methodInt ，&foo ，42) ; 
f1(); // 调用 foo .methodInt(42); 


f1 = boost: :bind(&Foo::methodString, &foo, "hello"); 

f10) // 调用 foo.methodstring(”"hello") 

// 注意 ，bind 拷贝 的 是 实 参 类 型 (const char*)， 不 是 形 参 类 型 (string) 

// 这 里 形 参 中 的 string 对 象 的 构造 发 生 在 调用 f1 的 时 候 ， 而 非 bind 的 半 候 ， 

// 因此 要 留意 bind 的 实 参 (cosnt charx) 的 生命 期 ， 它 应 该 不 短 于 f1 的 生命 期 。 
// 必要 时 可 通过 bind(&Foo: :methodSstring，&foo，string(aTempBuf)) 来 保证 安全 


boost: :function<void(int)> f2; // int 参数， 无 返回 值 


f2 = boost: :bind(&Foo::methodInt，&foo，_1); 
f2(53); // 调用 foo .methodInt(53); 


如 果 没 有 boost::bind， 那 么 boost::function 就 什么 都 不 是 ; 而 有 了 
bind, “同一 个 类 的 不 同 对 象 可 以 delegate 给 不 同 的 实现 ， 从 而 实现 不 同 
的 行为 ”(〈 备 岩 ) ， 简 直 就 无 敌 了 。 


11.5.2 ”对 程序 库 的 影响 


程序 库 的 设计 不 应 该 给 使 用 者 带 来 不 必要 的 限制 《耦合 ) ， 而 继 
承 是 第 二 强 的 一 种 耦合 〈 最 强 耦 合 的 是 友 元 ) 。 如 果 一 个 程序 库 限 制 


其 使 用 者 必须 从 某 个 class 派 生 ， 那 么 我 觉得 这 是 一 个 糟糕 的 设计 。 不 
巧 的 是 ， 目 前 不 少 C++ 程 序 库 就 是 这 么 做 的 。 


例 1: 线程 库 


常规 OO 设计 “ 写 一 个 Thread base class， 含 有 ( 纯 ) 虚 函 数 
Thread::run()， 然 后 应 用 程序 派生 一 个 derived class， 履 写 run0。 程 序 里 
的 每 一 种 线程 对 应 一 个 Thread 的 派生 类 。 例 如 Java 的 Thread class 可 以 这 
么 用 。 

缺点 : 如 果 一 个 class 的 三 个 method 需 要 在 三 个 不 同 的 线程 中 执 
行 ， 就 得 写 helper class(es) 并 玩 一 些 OO 把 戏 。 

基于 boost::function 的 设计 令 Thread 是 一 个 具体 类 ， 其 构造 沼 数 
接受 ThreadCallback 对 象 。 应 用 程序 只 需 提 供 一 个 能 转换 为 
ThreadCallback 的 对 象 (可 以 是 阅 数 ) ， 即 可 创建 一 份 Thread 实 体 ， 然 
后 调用 Thread::start() 即 可 。Java 的 Thread 也 可 以 这 么 用 ， 传 入 一 个 
Runnable 对 象 。C# 的 Thread 只 支持 这 一 种 用 法 ， 构 造 水 数 的 参数 是 
delegate ThreadStart。boost::thread 也 只 支持 这 种 用 法 。 


// 一 个 基于 boost::function 的 Thread class 基本 结构 
class Thread 


{ 
public: 
typedef boost::function<void()> ThreadCallback; 


Thread(ThreadCallback cb) 
x ChkcD) 
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void start() 


/x Some magic to call run() in new created thread */ 


private: 
void run() 


cb_(); 
3. 


ThreadCallback cb_; 
Wp 48 
3 


使 用 方式 : 


class Foo // 不 需要 继承 
{ 
public: 
void runInThread(); 
void runInAnotherThread(int) 


es 


Foo foo; 

Thread threadl(boost::bind(&Foo: :runInThread, &foo)); 

Thread thread2(boost::bind(&Foo: :runInAnotherThread, &foo, 43)); 
thread1.start(); // 在 两 个 线程 中 分 别 运 行 两 个 成 员 函 数 

thread2. start(); 


例 2: 网 络 库 


以 boost::function 作 为 桥梁 ，NetServer class 对 其 使 用 者 没有 任何 类 
型 上 的 限制 ， 只 对 成 员 函 数 的 参数 和 返回 类 型 有 限制 。 使 用 者 
EchoService 也 完全 不 知道 NetServer 的 存在 ， 只 要 在 main() 里 把 两 者 装配 
到 一 起 ， 程 序 就 跑 起 来 了 。 > 


network library 
class Connection; 
class NetServer : boost::noncopyable 


public: 
typedef boost::function<void (Connection*)> ConnectionCallback; 
typedef boost::function<void (Connection*, const void*, int len)> MessageCallback; 


NetServer(uint16_t port); 

~NetServer(); 

void registerConnectionCallback(const ConnectionCallback&); 
void registerMessageCallback(const MessageCallback&); 

void sendMessage(Connection*, const void* buf, int len); 


private: 
J a 
和 
network library 


user code 
class EchoService 
{ 
public: 
// 符合 NetServer::sendMessage 的 原型 
typedef boost::function<void(Connection*, const void*, int)> SendMessageCallback; 


EchoService(const SendMessageCallback& sendMsgCb) 
: sendMessageCb_(sendMsgCb) // 保存 boost: :function 
长 二 


// 符合 NetServer::MessageCallback 的 原型 
void onMessage(Connection* conn, const void* buf, int size) 
{ 
printf("Received Msg from Connection %d: %.xs\n”, 
conn->id(), size, (const char*)buf); 
sendMessageCb_(conn, buf, size); // echo back 


// 符合 NetServer::ConnectionCallback 的 原型 
void onConnection(Connection* conn) 


printf("Connection from %s:%d is %s\n”", conn->ipAddr(), conn->port(), 
conn->connected() ? "UP” : "DOWN"); 
下 


private: 
SendMessageCallback sendMessageCb_; 


}; 
// 扮演 上 帝 的 角色 ， 把 各 部 件 拼 起 来 


int main() 
{ 
NetServer server(7); 
EchoService echo(bind(&NetServer::sendMessage, &server, _1, _2, _3)); 
server.registerMessageCallback( 
bind(&EchoService: :onMessage, &echo, _1, _2, _3)); 
server.registerConnectionCallback( 
bind(&EchoService::onConnection, &echo, _1)); 
server .run(); 


User code 


11.5.3 ”对 面向 对 象 程序 设计 的 影响 


一 直 以 来 ， 我 对 面向 对 象 都 有 一 种 厌恶 感 ， 苹 床 染 屋 ， 绕 来 绕 去 
的 ,一 拳拳 打 在 棉花 上 ， 不 解决 实际 问题 。 面 向 对 象 的 三 要 素 是 寺 
装 、 继 承 和 多 态 。 我 认为 封装 是 根本 的 ， 继 承 和 多 态 则 是 可 有 可 无 


的 。 用 class 来 表示 concept， 这 是 根本 的 ; 至 于 继承 和 多 态 ， 其 耦合 性 
太 强 ， 往 往 不 划算 。 

继承 和 多 态 不 仅 规 定 了 函数 的 名 称 、 参 数 、 返 回 类 型 ， 还 规定 了 
类 的 继承 关系 。 在 现代 的 OO 编程 语言 里 ， 借 助 反 射 和 
attribute/annotation， 已 经 大 大 放宽 了 限制 。 举 例 来 说 ，JUnit 3.x 是 用 反 
射 ， 找 出 派生 类 里 的 名 字符 合 void test*0 的 函数 来 执行 的 ， 这 里 就 没 继 
承 什么 事 ， 只 是 对 函数 的 名 称 有 部 分 限制 (继承 是 全 面 限制 ， 一 字 不 
差 ) 。 至 于 JUnit 4.x 和 NUnit 2.x 则 更 进一步 ， 以 annotation/attribute 来 标 
明 test case， 更 没 继 承 什么 事 了 。 

我 的 猜测 是 ， 当 初 提出 面向 对 象 的 时 候 ，closure 还 没有 一 个 通用 
的 实现 ， 所 以 它 没 能 算 作 基本 的 抽象 工具 之 一 。 现 在 既然 closure 已 经 
这 么 方便 了 ， 或 许 我 们 应 该 重新 审视 面向 对 象 设计 ， 至 少 不 要 那么 小 
用 继承 。 

自从 找到 了 boost::function+boost::bind 这 对 “ 神 兵 利器 *"， 不 用 再 考 
虑 class 之 间 的 继承 关系 ， 只 需要 基于 对 象 的 设计 (object-based) ， 产 
拳 到 肉 ， 程 序 写 起 来 顿时 顺手 了 很 多 。 


对 面向 对 象 设计 模式 的 影响 


既然 虚 函 数 能 用 closure 代 替 ， 那 么 很 多 OO 设计 模式 ， 尤 其 是 行为 
模式 ， 就 失去 了 存在 的 必要 。 另 外 ， 既 然 没 有 继承 体系 ， 那 么 很 多 创 
建 型 模式 似乎 也 没 喻 用 了 (比如 Factory Method 可 以 用 
boost::function<Base* ()> 替 代 ) 。 

最 明显 的 是 Strategy， 不 用 囚 蒙 的 Strategy 基 类 和 
ConcreteStrategyA、 ConcreteStrategyB 等 派生 类 ， 一 个 boost::function 成 
员 就 能 解决 问题 。 另 外 一 个 例子 是 Command 模 式 ， 有 了 
boost::function， 函 数 调用 可 以 直接 变 成 对 象 ， 似 乎 就 没 Command 什 么 
事 了 。 同 样 的 道理 ，Template Method 可 以 不 必 使 用 基 类 与 继承 ， 只 要 
传 入 几 个 boost::function 对 象 ， 在 原来 调用 虚 函 数 的 地 方 换 成 调用 
boost::function 对 象 就 能 解决 问题 。 


在 《设计 模式 》 这 本 书 中 提 到 了 23 个 模式 ， 在 我 看 来 其 更 多 的 是 
弥补 了 C++ 这 种 静态 类 型 语言 在 动态 性 方面 的 不 足 。 在 动态 语言 中 ， 由 
于 语言 内 置 了 一 等 公民 的 类 型 和 函数 上 ， 这 使 得 很 多 模式 失去 了 存在 的 
必要 s。 或 许 它 们 解决 了 面向 对 象 中 的 常见 问题 ， 不 过 要 是 我 的 程序 里 
连 面向 对 象 ( 指 继 承 和 多 态 ) 都 不 用 ， 那 似乎 也 不 用 叫 扰 面向 对 象 设 
计 模 式 了 。 

或 许 基于 closure 的 编程 将 作为 一 种 新 的 编程 范式 (paradigm) 而 流 
行 起 来 。 


依赖 注入 与 单元 测试 


前 面 的 EchoService 可 算是 依赖 注入 的 例子 。EchoService 需 要 一 个 
什么 东西 来 发 送 消 息 ， 它 对 这 个 “东西 ”的 要 求 只 是 函数 原型 满足 
SendMessageCallback， 而 并 不 关心 数据 到 底 发 到 网 络 上 还 是 发 到 控制 
台 。 在 正常 使 用 的 时 候 ， 数 据 应 该 发 给 网 络 ; 而 在 做 单元 测试 的 时 
候 ， 数 据 应 该 发 给 某 个 DataSink。 

按照 面向 对 象 的 思路 ， 先 写 一 个 AbstractDataSink interface， 包 含 
sendMessage() 这 个 虚 函 数 ， 然 后 派生 出 两 个 class: NetDataSink 和 
MockDataSink， 前 面 那 个 干 活用 ， 后 面 那个 单元 测试 用 。EchoService 
的 构造 图 数 应 该 以 AbstractDataSink# 为 参数 ， 这 样 就 实现 了 所 谓 的 接口 
与 实现 分 离 。 

我 认为 这 么 做 纯粹 是 多 此 一 举 ， 因 为 直接 传 入 一 个 
SendMessageCallback 对 象 就 能 解决 问题 。 在 单元 测试 的 时 候 ， 可 以 
boost::bind() 到 MockServer 上 ， 或 某 个 全 局 遂 数 上 ， 完 全 不 用 继承 和 虚 
函数 ， 也 不 会 影响 现 有 的 设计 。 


什么 时 候 使 用 继承 


如 果 是 指 Oo 中 的 public 继 承 ， 即 为 了 接口 与 实现 分 离 ， 那 么 我 只 
会 在 派生 类 的 数目 和 功能 完全 确定 的 情况 下 使 用 。 换 名 话说， 不 为 将 
来 的 扩展 考虑 ， 这 时 候 面 向 对 象 或 许 是 一 种 不 错 的 描述 方法 。 一 旦 要 


考虑 扩展 ， 什 么 办 法 都 没 用 ， 还 不 如 把 程序 写 简 单 点 ， 将 来 好 大 改 或 
重 写 。 

如 果 是 功能 继承 ， 那 么 我 会 考虑 继承 boost::noncopyable 或 
boost::enable_ shared_from_this，81.11 讲 到 了 enable_shared_from_this 在 
实现 多 线程 安全 的 对 象 回 调 时 的 妙用 。 

例如 ，IO multiplexing 在 不 同 的 操作 系统 下 有 不 同 的 推荐 实现 ， 最 
通用 的 select0)、POSIX 的 poll0、Linux 的 epoll0、FreeBSD 的 kqueue0) 
等 ， 数 目 固定 ， 功 能 也 完全 确定 ， 不 用 考虑 扩展 。 那 么 设计 一 个 
NetLoop base class 加 若干 具体 classes 就 是 不 错 的 解决 办 法 。 换 名 话说， 
用 多 态 来 代替 switch-case 以 达到 简化 代码 的 目的 。 


基于 接口 的 设计 


这 个 问题 来 自 那个 经 典 的 讨论 : 不 会 飞 的 企鹅 (Penguin) 究竟 应 
不 应 该 继承 自 乌 (Bird) ， 如 果 Bird 定 义 了 virtual function fly0 的 话 。 讨 
论 的 结果 是 ， 把 具体 的 行为 提出 来 ， 作 为 interface， 比 如 Flyable (能 
的 ) ，Runnable (能 跑 的 ) ， 然 后 让 企鹅 实现 Runnable， 麻 省 实现 
Flyable 和 Runnable。 (其 实 麻 省 只 能 双 脚 跳 ， 不 能 跑 ， 这 里 不 作 深 
究 。) 

进一步 的 讨论 表明 ，interface 的 粒度 应 足够 小 ， 或 许 包 含 一 个 
method 就 够 了 ， 那 么 interface 实 际 上 退化 成 了 给 类 型 打 的 标签 (tag) 。 
在 这 种 情况 下 ， 完 全 可 以 使 用 boost::function 来 代替 ， 比 如 : 


class Penguin // 企鹅 能 游泳 ”也 能 跑 
{ 
public: 

void run(); 

void swim(); 


3 


class Sparrow // 麻雀 能 飞 ， 也 能 跑 
{ 
public: 

void fly(); 

void run(); 


$s 


// 以 boost::function 作为 接口 

typedef boost::function<void()> FlyCallback; 
typedef boost::function<void()> RunCallback; 
typedef boost::function<void()> SwimCallback; 


// 一 个 既 用 到 run， 也 用 到 fly 的 客户 class 
class Foo 
{ 
public: 
Foo(FlyCallback flyCb, RunCallback runCb) 
: flyCb_(flyCb), runCb_(runCb) 
:了 


private : 
FlyCallback flyCb_; 
RunCallback runCb_: 
ee 


// 一 个 既 用 到 run， 也 用 到 swim 的 客户 class 
class Bar 


{ 
public: 
Bar(SwimCallback swimCb, RunCallback runCb) 
: SwimCb_(swimCb), runCb_(runCb) 


{ } 


private: 

SwimCallback swimCb_: 
RunCallback runCb_; 
人 


int main() 
{ 
Sparrow S; 
Penguin p; 
// 装配 起 来 ，Foo 要 麻 省 ，Bar 要 企 笋 。 
Foo foo(bind(&Sparrow: :fly, &s), bind(&Sparrow: :run, &s)); 
Bar bar(bind(&Penguin: :swim, &p), bind(&Penguyin: :run, &p)); 
} 


11.6 ”iostream 的 用 途 与 局 限 


本 节 主 要 考虑 x86 Linux 平 台 ， 不 考虑 跨 平 台 的 可 移植 性 ， 也 不 考 
虑 国际 化 (i18n) ， 但 是 要 考虑 32-bit 和 64-bit 的 兼容 性 。 本 节 以 stdio 指 
代 C 语 言 的 scanf/printf 系 列 格式 化 输入 输出 函数 。 本 节 提 及 的 “C 语 言 ” 
(包括 库 函 数 和 线程 安全 性 ) ， 指 的 是 Linux 下 gcc 十 glibc 这 一 套 编译 器 
和 库 的 具体 实现 ， 也 可 以 认为 是 符合 POSIX.1-2001 的 实现 。 本 节 要 注 
意 区 分 “编程 初学 者 ”和 “C++ 初学 者 "， 二 者 含义 不 同 。 

C++ iostream 的 主要 作用 是 让 初学 者 有 一 个 方便 的 命令 行 输入 输出 
试验 环境 ， 在 真实 的 项 目 中 很 少 用 到 iostream， 因 此 不 必 把 精力 花 在 深 


究 iostream 的 格式 化 与 manipulator (格式 操控 符 ) 上 。iostream 的 设计 初 
衷 是 提供 一 个 可 扩展 的 类 型 安全 的 IO 机 制 ， 但 是 后 来 莫名 其 妙 地 加 入 
了 locale 和 facet 等 累 交 。 其 整个 设计 复杂 不 堪 ， 多 重 + 虚拟 继承 的 结构 
也 很 "巴洛克 ”， 性 能 方面 几 无 亮点 。iostream 在 实际 项 目 中 的 用 处 非常 
有 限 ， 为 此 投入 过 多 的 学 习 精 力 实在 不 值 。 


11.6.1 _ stdio 格式 化 输入 输出 的 缺点 
对 编程 初学 者 不 友好 
看 看 下 面 这 段 简单 的 输入 输出 代码 ， 这 是 C 语 言 教 学 的 基本 示例 。 


#include <stdio.h> 


int main() 
nt 和 
short s; 
float f:; 
double dj; 
char name[ 80]; 


scanf("%d %hd %f %lf %s”, &i, &s, &f, &d, name); 
printf("%d %d %f %f %s\n", i, s, f, d, name); 


注意 到 其 中 


.输入 和 输出 用 的 格式 字符 串 不 一 样 。 输 入 short 要 用 %hd， 输 出 
用 %d; 输入 double 要 用 %1lf， 输 出 用 9%f。 

.输入 的 参数 不 统一 。 对 于 i、s、f、d 等 变量 ， 在 传 入 scanfO 的 时 候 
要 取 地 址 (&) ; 而 对 于 字符 数组 name， 则 不 用 取 地 址 。 读 者 可 以 试 
一 试 如 何 用 几 句 话 向 刚 开始 学 编程 的 初学 者 解释 上 面 两 条 背后 的 原因 

(涉及 传递 函数 不 定 参 数 时 的 类 型 转换 、 函 数 调用 栈 的 内 存 布局 、 指 
针 的 意义 、 字 符 数 组 退化 为 字符 指针 等 等 ) 。 如 果 一 开始 解释 不 清 ， 
只 好 告诉 初学 者 “这 是 规定 >”， 弄 得 人 一 头 雾 水 。 


缓冲 区 溢出 的 危险 。 上 面 的 例子 在 读 入 name 的 时 候 没 有 指定 大 
小 ， 这 是 用 C 语 言 编程 的 安全 漏洞 的 主要 来 产 。 应 该 在 一 开始 就 强调 正 
确 的 做 法 ， 避 免 养 成 错误 的 习惯 。 


正确 而 安全 的 做 法 如 下 所 示 : 2 


int main() 

{ 
const int max_name = 80; 
char name[max_name]; 


char fmt[10]; 

sprintf(fmt, "%%X%ds”", max_name - 1); 
scanf(fmt, name); 

printf("%s\n”, name); 


这 个 动态 构造 格式 化 字符 串 的 做 法 恐怕 更 难 向 初学 者 解释 。 
安全 性 (security) 


C 语 言 的 安全 性 问题 近 十 几 年 来 引起 了 广泛 的 注意 ，C99 增 加 了 
snprintfO 等 能 够 指定 输出 缓冲 区 大 小 的 函数 ， 输 出 方面 的 安全 性 问题 已 
经 得 到 解决 ， 输 入 方面 似乎 没有 太 大 进展 ， 还 要 靠 程序 员 自 己 动手 。 

考虑 一 个 简单 的 编程 任务 : 从 文件 或 标准 输入 读 入 一 行 字 符 串 ， 
行 的 长 度 不 确定 。 我 发 现 竟然 没有 哪个 C 语 言 标准 库 函数 能 完成 这 个 任 
务 ， 除 非 自 己 动手 。 

首先 ，gets0 是 错误 的 ， 因 为 不 能 指定 缓冲 区 的 长 度 。 

其 次 ，fgets() 也 有 问题 。 它 能 指定 缓冲 区 的 长 度 ， 所 以 是 安全 的 。 
但 是 程序 必须 预 设 一 个 长 度 的 最 大 值 ， 这 不 满足 题目 要 求 “ 行 的 长 度 不 
确定 ”。 另 外 ， 程 序 无 法 判断 fgetsO0 到 底 读 了 多 少 个 字 节 。 为 什么 ? 考 
虑 一 个 文件 的 内 容 是 9 个 字 节 的 字符 串 "Chen\000Shuo"， 注 意 中 间 出 现 
了 "0' 字 答 ， 如 果 用 fgets() 来 读 取 ， 客 户 端 如 何 知道 \000Shuo" 也 是 输入 
的 一 部 分 ? 毕竟 strlen0 只 返回 4， 而 且 整 个 字符 串 里 没有 '\n' 字 符 。 


最 后 ， 可 以 用 glibc 定 义 的 getline(3) 孙 数 来 读 取 不 定 长 的 “ 行 "。 这 个 
函数 能 正确 处 理 各 种 情况 ， 不 过 它 返 回 的 是 malloc0 分 配 的 内 存 ， 要 求 
调用 端 自己 free()。 


类 型 安全 (type-safety) 


如 果 printf() 的 整数 参数 类 型 是 int、long 等 内 置 类 型 ， 那 么 printf() 的 
格式 化 字符 串 很 容易 写 。 但 是 如 果 人 参数 类 型 是 系统 头 文 件 里 typedef 的 
类 型 呢 ? 

如 果 你 想 在 程序 中 用 printf0 来 打印 日 志 ， 你 能 一 眼看 出 下 面 这 些 
类 型 该 用 "%d"、"%ld"、"%lld" 中 的 哪 一 个 来 输出 吗 ? 你 的 选择 是 否 同 
时 兼容 32-bit 和 64-bit 平 台 ? 


:clock_t。 这 是 clock(3) 的 返回 类 型 。 

:dev_t。 这 是 mknod(3) 的 参数 类 型 。 

in_addr_ t、in_port te。 这 是 struct sockaddr_in 的 成 员 类 型 。 

nfds_t。 这 是 poll(2) 的 参数 类 型 。 

-off_t。 这 是 lseek(2) 的 参数 类 型 ， 麻 烦 的 是 ， 这 个 类 型 与 宏 定义 
_FILE_ OFFSET_BITS 有 关 。 

:pid_t、uid_t、gid_t。 这 是 getpid(2)/getuid(2)/getgid(2) 的 返回 类 型 

:ptrdiff_t。printf() 专 门 定义 了 "t" 前 缀 来 支持 这 一 类 型 (即使 
用 "%td") 。 

“size_t、ssize_t。 这 两 个 类 型 到 处 都 在 用 。printf() 为 此 专门 定义 
了 "z" 前 缀 来 支持 这 两 个 类 型 〈《 即 使用"%zu" 或 "%zd" 来 打印 ) 。 

.Socklen_t。 这 是 bind(2) 和 connect(2) 的 参数 类 型 。 

-time_t。 这 是 time(2) 的 返回 类 型 ， 也 是 gettimeofday(2) 和 
clock_gettime(2) 的 结构 体 参 数 的 成 员 类 型 。 


如 果 在 C 程 序 里 要 正确 打印 以 上 类 型 的 整数 ， 恐 怕 要 费 一 瘟 脑筋 。 
《The Linux Programming Interface》 的 作者 建议 (3.6.2 节 ) 先 统一 转换 


为 Jong 类型， 再 用 "%1d" 来 打印 ; 对 于 某 些 类 型 仍然 需要 特殊 处 理 ， 比 
如 off_t 的 类 型 可 能 是 long long。 


另外 ，int64_t 在 32-bit 和 64-bit 平 台 上 是 不 同 的 类 型 ， 为 此 ， 如 果 程 
序 要 打 Ehint64_t 变 量 ， 需 要 包含 <inttypes.h> 头 文件 ， 并 且 使 用 PRId64 


宏 : 

#include <stdio.h> 

#define __STDC_FORMAT_MACROS 
#include <inttypes.h> 


int main() 

{ 
int64_t x = 100; 
DRINtTFC YN PRIdO4 "SN. 允 3 
printf("%06" PRId64 "\n”, x); 


muduo 的 Timestamp class 使 用 了 PRId64。Google C++ 编 码 规范 也 提 
到 了 64-bit 兼 容 性 。 2 


这 些 问 题 在 C++ 里 都 不 存在 ， 在 这 方面 iostream 是 个 进步 。 

C stdio 在 类 型 安全 方面 原本 还 有 一 个 缺点 ， 即 格式 化 字符 串 与 参数 
类 型 不 匹配 会 造成 难以 发 现 的 bug， 不 过 现在 的 编译 器 已 经 能 够 检测 很 
多 这 种 错误 (使 用 -Wall 编 译 选项 ) 
int main() 


double d = 100.0; 


// warning: format “%d” expects type 'int’'’, but argument 2 has type “double” 
printf("%d\n”, d); 


short s; 
// warning: format '%d’' expects type 'int*', but argument 2 has type 'short intx’ 
scanf("%d”, &s); 
size_t sz = 1; 
// no warning 


printf("%zd\n”" , sz); 
4 


不 可 扩展 


C stdio 的 另外 一 个 缺点 是 无 法 支持 自 定 义 的 类 型 ， 比 如 我 写 了 一 个 
Date class， 我 无 法 像 打 印 int 那 样 用 printfO 来 直接 打印 Date 对 象 。 


struct Date 


int year，month，day; 


Date date ; 
printf(”"%D”，&date); // WRONG 


libc 放 宽 了 这 个 限制 ， 人 允许 用 户 调用 register_printf_function(3) 注 册 
自己 的 类 型 。 当 然 ， 前 提 是 与 现 有 的 格式 字符 不 冲突 (这 其 实 大 大 限 
制 了 这 个 功能 的 用 处 ， 现 实 中 也 几乎 没有 人 真 的 去 用 它 ) 。 2 


性 能 
C stdio 的 性 能 方面 有 两 个 弱点 。 


1. 使 用 一 种 little language 《现在 流行 叫 DSL) 来 配置 格式 。 这 固 
然 有 利于 紧凑 性 和 灵活 性 ， 但 损失 了 一 点 点 效率 。 每 次 打印 一 个 整数 
都 要 先 解析 "%d" 字 符 串 ， 大 多 数 情况 下 这 不 是 问题 ， 某 些 场 合 则 需要 
自己 写 整数 到 字符 串 的 转换 。 

2. C locale 的 负担 。locale 指 的 是 不 同 语种 对 “什么 是 空白 ` “什么 
是 字母 ", “什么 是 小 数 点 ”有 不 同 的 定义 〈 德 语 中 小 数 点 是 逗号 ， 不 是 
句点 ) 。C 语 言 的 printf()、scanf()、isspace()、isalpha()、ispunct()、 
strtod() 等 等 水 数 都 和 ]ocale 有 关 ， 而 且 可 以 在 运行 时 动态 更 改 locale。 就 
算是 程序 只 使 用 默认 的 ”C”locale， 仍 然 要 为 这 个 灵活 性 付出 代价 。 


11.6.2 ”iostream 的 设计 初衷 


iostream 的 设计 初衷 包括 克服 C stdio 的 缺点 ， 提 供 一 个 高 效 的 可 扩 
展 的 类 型 安全 的 IO 机 制 。“ 可 扩展 ”有 两 层 意思 : 一 是 可 以 扩展 到 用 户 


自 定 义 类 型 ， 二 是 通过 继承 iostream 来 定义 自己 的 stream。 本 文 把 前 一 
种 称 为 “类 型 可 扩展 >， 把 后 一 种 称 为 “功能 可 扩展 ”。 


类 型 可 扩展 和 类 型 安全 


“类 型 可 扩展 "和 “类 型 安全 ”都 是 通过 逊 数 重 载 来 实现 的 。 
iostream 对 初学 者 很 友好 ， 用 iostream 重 写 与 前 面 同样 功能 的 代 
位 : 


#include <iostream> 
#include <string> 
using namespace std; 


int main() 

{ 
人 
short s; 
float f:; 
double d; 
string name; 


cin >> i >> s >> f >> d >> name; 
or 


这 段 代码 了 恐怕 比 scanf/printfk 友 本 容易 解释 得 多 ， 而 且 没 有 安全 性 
(security) 方面 的 问题 。 
我 们 自己 的 类 型 也 可 以 融入 iostream， 使 用 起 来 与 builtrin 类 型 没有 
区 别 。 这 主要 得 力 于 C++ 可 以 定义 non-member functions/operators。 


#include <ostream> // 是 不 是 太 重 量 级 了 ? 


class Date 
{ 
public: 
Date(int year, int month, int day) 
: year_(year), month_(month), day_(day) 


{ } 
void writeTo(std::ostream& os) const 
{ 
O08 << year < 一 < Wonth_ << “= << day ， 
} 
private: 
int year_, month_, day_; 


Se 


std::ostream& operator<<(std: :ostream& os, const Date& date) 


{ 
date .writeTo(os); 
return os; 


} 
int main() 


Date date(2011, 4, 3); 
std::cout << date << std: :end]， 


} 


iostream 凭 借 这 两 点 (类 型 安全 和 类 型 可 扩展 ) ， 基 本 克服 了 stdio 
在 使 用 上 的 不 便 与 不 安全 。 如 果 iostreaam 止 步 于 此 ， 那 它 将 是 一 个 非常 
便利 的 库 ， 可 惜 它 前 进 了 另外 一 步 。 

iostream 的 演变 大 致 可 分 为 三 个 阶段 。 第 一 阶段 是 Bjarne Stroustrup 
在 CFront 1.0 里 实现 的 streams 库 xs。 这 个 库 符合 前 述 “ 类 型 安全 、 可 扩 
展 、 高 效 ”等 特征 ，Bjarne 发 明了 用 移 位 操作 符 (<< 和 >>) 做 VO 的 办 
法 ，istream 和 ostream 都 是 具体 类 ， 也 没有 manipulator。 第 二 阶段 ， 
Jerry Schwarz 设 计 了 “经 典 ”iostream， 在 CFront 2.0 中 他 的 设计 大 部 分 得 
以 体现 。 他 发 明了 manipulator， 实 现 手法 是 以 函数 指针 参数 来 重 载 输入 


输出 操作 符 ; 他 还 采用 多 重 继承 和 虚拟 继承 手法 ， 设 计 了 现在 我 们 看 
到 的 ios 萎 形 继承 体系 ; 此 外 ，istreaam 有 了 基 类 ios， 也 有 了 派生 类 
ifstream 和 istrstream，ostream 也 是 如 此 。 第 三 阶段 ， 在 C++ 标准 化 的 过 
程 中 ，iostream 有 大 幅 更 新 ，Nathan Myers 设 计 了 Locale/Facet 体 系 ， 
iostream 被 模板 化 以 适应 宽 罕 两 种 字符 ， 以 及 以 stringstream 替 换 
strstream 等 。 


11.6.3 iostream 与 标准 库 其 他 组 件 的 交互 
“ 值 语义 ”与 “对 象 语义 ” 


不 同 于 标准 库 其 他 class 的 “ 值 语义 (value semantics) ”，iostream 是 
“对 象 语义 (object semantics) ”= ， 即 iostream 是 non-copyable。 这 是 正 
确 的 ， 因 为 如 果 fstream 代 表 一 个 打开 的 文件 的 话 ， 拷 贝 一 个 fstream 对 

意味 着 什么 呢 ? 表示 打开 了 两 个 文件 吗 ? 如 果 销 毁 一 个 fstream 对 
象 ， 它 会 关闭 文 件 句柄 ， 那 么 另 一 个 fstream 对 象 副 本 会 因此 受 影 响 
吗 ? 

iostream 禁 止 拷 贝 ， 利 用 对 象 的 生命 期 来 明确 管理 资源 (如 文 
件 ) ， 很 自然 地 就 避免 了 这 些 问题 。 这 就 是 RAII， 一 种 重要 且 独 特 的 
C++ 编程 手法 。 

C++ 同时 支持 “数据 抽象 (data abstraction) ”和 “面向 对 象 编程 

(objectoriented) ”， 其 实 主要 就 是 “ 值 语 义 ” 与 “对 象 语义 ”的 区 别 ， 这 
是 一 个 比较 大 的 主题 ， 见 811.7。 


std::stringg 


iostream 可 以 与 std::string 配 合 得 很 好 。 但 是 有 一 个 问题 : 谁 依赖 
谁 ? 

std::string 的 operator<< 和 operator>> 是 如 何 声明 的 ? 注意 operator<< 
是 个 二 元 操作 符 ， 它 的 参数 是 std::ostream 和 和 std::string。 <string> 头 文件 
在 声明 这 两 个 operator 的 时 候 要 不 要 #include <iostream>? 


iostream 和 std::string 都 可 以 单独 include 来 使 用 ， 显 然 iostream 头 文件 
里 不 会 定义 std::string 的 << 和 >> 操 作 。 但 是 ， 如 果 <string> 要 #include 
<iostream>， 岂 不 是 让 string 的 用 户 被 迫 也 用 了 iostream? 编译 iostream 头 
文件 可 是 相当 的 慢 啊 (因为 iostream 是 template， 其 实现 代码 都 放 到 了 
头 文 件 中 ) 。 

标准 库 的 解决 办 法 是 定义 <iosfwd> 头 文件 ， 其 中 包含 istream 和 
ostream 等 的 前 向 声明 (forward declarations) ， 这 样 <string> 头 文件 在 定 
义 输入 输出 操作 符 时 就 可 以 不 必 包 含 <iostream>， 只 需要 包含 简短 得 多 
的 <iosfwd>， 避 免 引 入 不 必要 的 依赖 。 我 们 自己 写 程 序 也 可 借 此 学 习 如 
何 支持 可 选 的 功能 。 

另外 值得 注意 的 是 ，istream::getline0) 成 员 函 数 的 参数 类 型 是 char 
， 因 为 <istream> 没 有 包含 <string>， 而 我 们 常用 的 std::getlineO 国 数 是 个 
non-member function， 定 义 在 <string> 里 边 。 


std::complexx 


标准 库 的 复数 类 std::complex 的 情况 比较 复杂 。<complex> 头 文件 会 
自动 包含 <sstream>， 后 者 会 包含 <istream> 和 <ostream>， 这 是 个 不 小 的 
负担 。 问 题 是 ， 为 什么 这 么 实现 ? 

它 的 operator>> 操 作 比 string 复 杂 得 多 ， 如 何 应 对 格式 不 正确 的 情 
况 ? 输入 字符 串 不 会 遇 到 格式 不 正确 ， 但 是 输入 一 个 复数 则 可 能 遇 到 
各 种 问题 ， 比 如 数字 的 格式 不 对 等 。 有 谁 会 真 的 在 产品 项 目 里 用 
operator>> 来 读 入 字符 方式 表示 的 复数 ， 这 样 的 代码 的 健壮 性 如 何 保 
证 ? 基于 同样 的 理由 ， 我 认为 产品 代码 中 应 该 避免 用 istream 来 读 取 带 
格式 的 内 容 ， 后 面 也 不 再 谈 istream 格 式 化 输入 的 缺点 ， 它 已 经 落选 。 

它 的 operator<< 也 很 奇怪 ， 它 不 是 直接 使 用 参数 ostreamg& os 对 象 来 
输出 ， 而 是 先 构造 ostringstream， 输 出 到 该 string stream， 再 把 结果 字符 
串 输出 到 ostream。 简 化 后 的 代码 如 下 : 


template<typename T> 
std: :ostream& operator<<(std: :ostream& os, const std::complex<T>& x) 


std::ostringstream s; 
SR "TR EraLTIY Ke ° en maEO), < 0 
return os << s.str(); 


} 

注意 到 ostringstream 会 用 到 动态 分 配 内 存 。 也 就 是 说 ， 每 输出 一 个 
complex 对 象 就 会 分 配 释 放 一 次 内 存 ， 效 率 卉 忧 。 

根据 以 上 人 分析， 我 认为 iostream 和 complex 配 合 得 不 好 ， 但 是 它们 
耦合 得 更 紧密 (与 string/iostream 相 比 ) ， 这 可 能 是 个 不 得 已 的 技术 限 
制 吧 (complex 是 class template， 其 operator<< 必 须 在 头 文件 中 定义 ， 而 
这 个 定义 又 用 到 了 ostringstream， 不 得 已 包含 了 sstream 的 实现 ) 。 

如 果 程 序 要 对 complex 做 IO， 从 效率 和 健壮 性 方面 考虑 ， 建 议 不 要 
使 用 iostream。 


11.6.4 _ iostream 在 使 用 方面 的 缺点 


在 简单 使 用 iostream 的 时 候 ， 它 确实 比 stdio 方 便 ， 但 是 深入 一 点 就 
会 发 现 ， 二 者 可 说 各 擅 胜 场 。 下 面谈 一 谈 iostream 在 使 用 方面 的 缺点 。 


格式 化 输出 很 烦琐 


iostream 采 用 manipulator 来 格式 化 ， 如 果 我 想 按 照 2010-04-03 的 格 
式 输出 前 面 定义 的 Date class， 那 么 代码 要 改 成 : 


class Date 


{ 


void writeTo(std::ostream& os) const 


OS Ke VO RE 

05 < year <. = 
<< Stdrrsetw(2) < "stdroetftill€t0") << month. < "= 
<< std::setw(2) << std::setfill('0') << day_; 


+ 十 二 | 


as 
假如 用 stdio， 会 简短 得 多 ， 因 为 printf 采 用 了 一 种 表达 能 力 较 强 的 
小 语言 来 描述 输出 格式 。 


class Date 
{ 
Re 
void writeTo(std: :ostream& os) const 
{ 
OS << year_ << '-' << month_ << '-' << day_; 


eharsbuf L321]: 
snprintf(buf, sizeof buf, "%d-%02d-%02d", year 
os << buf: 


} 


RR 
使 用 小 语言 来 描述 格式 还 带 来 了 另外 一 个 好 处 : 外 部 可 配置 。 


外 部 可 配置 性 


能 不 能 用 外 部 的 配置 文件 来 定义 程序 中 日 期 的 格式 ? 在 C stdio 中 很 
好 办 ， 把 格式 字符 串 "9%d-%02d-%02d" 保 存 到 配置 里 就 行 。 但 是 
iostream 呢 ? 它 的 格式 是 写 死 在 代码 里 的 ， 灵 活性 大 打折 扣 。 

再 举 一 个 例子 ， 程 序 的 message 的 多 语言 化 。 


month_，day_) ; 


= 


+ 十 + 1 


const charx name = “Shuo Chen"; 


int age = 29; 
printf("My name is %1$s, I am %2$d years 01d.Nn"，name，age); 
cout << "My name is ”<< name << ", I am ”<< age << " years old." << endl: 


对 于 stdio， 要 让 这 段 程 序 支 持 中 文 的 话 ， 把 代码 中 的 "My name is 
…"， 替 换 为 "我 叫 %1$s， 今 年 %2$d 岁 。\n" 即 可 。 也 可 以 把 这 段 提 示 语 
做 成 资源 文件 ， 在 运行 时 读 入 。 而 对 于 iostream， 仆 怕 没有 这 么 方便 ， 
因为 代码 是 支离破碎 的 。 

C stdio 的 格式 化 字符 串 体现 了 重要 的 “数据 就 是 代码 ”的 思想 ， 这 种 
“数据 ”与 “代码 ”之 间 的 相互 转换 是 程序 灵活 性 的 根源 ， 远 比 OO 更 为 灵 
活 。 


stream 的 状态 


如 果 我 想 用 十 六 进 制 方式 输出 一 个 整数 x， 那 么 可 以 用 hex 操 控 
符 ， 但 是 这 会 改变 ostream 的 状态 。 比 如 说 


int x = 8888， 
cout << hex << showbase << x << endl; // print 0x22b8 
cout << 123 << endl; // print 0x7b 


这 段 代码 会 把 123 也 按照 十 六 进 制 方式 输出 ， 这 恐怕 不 是 我 们 想 要 的 。 
再 举 一 个 例子 ，setprecision0) 也 会 造成 持续 影响 : 


double d = 123.45; 

ranttts geB3TANR dy- 

cout << d << endl; 

cout << setw(8) << fixed << setprecision(3) << d << end]; 
cout << d << endl: 


输出 是 : 
$axout 
123.450 %8.3f 的 输出 
123 .45 默认 cout 格式 


123.450 ”我们 设置 的 精度 
123.450 精度 持续 影响 后 续 输 出 


可 见 代 码 中 的 setprecision0 影 响 了 后 续 输 出 的 精度 。 注 意 setw0 不 
会 造成 影响 ， 它 只 对 下 一 个 输出 有 效 。 

这 说 明 ， 如 果 使 用 manipulator 来 控制 格式 ， 需 要 时 刻 小 心 以 防 影 响 
了 后 续 代 码 ; 而 使 用 C stdio 就 没有 这 个 问题 ， 它 是 “上 下 文 无 天 的 ” 


知识 的 通用 性 


在 C 语 言 之 外 ， 有 其 他 很 多 语言 也 支持 printf() 风 格 的 格式 化 ， 例 如 
Java、Perl、Ruby 等 等 s。 学 会 printfO 的 格式 化 方法 ， 这 个 知识 还 可 以 
用 到 其 他 语言 中 。 但 是 C++ iostream“ 只 此 一 家 ， 别 无 分 店 ”。 反 正 都 是 
格式 化 输出 ， 学 习 stdio 投 资 回 报 率 更 高 。 

基于 这 点 考虑 ， 我 认为 不 必 深 究 iostream 的 格式 化 方法 ， 只 需要 用 
好 它 最 基本 的 类 型 安全 输出 即 可 。 在 真 的 需要 格式 化 的 场合 ， 可 以 考 
虑 snprintfO 打 印 到 栈 上 缓冲 ， 再 用 ostream 输 出 。 


线程 安全 与 原子 性 


iostream 的 另外 一 个 问题 是 线程 安全 性 。POSIX.1-2001 明 确 要 求 
stdio 崩 | 数 是 线程 安全 的 xz， 而 且 还 提供 了 flockfile(3)/funlockfile(3) 之 类 
的 函数 来 明确 控制 FILE* 的 加 锁 与 解锁 。 

iostream 在 线程 安全 方面 没有 保证 ， 就 算 单 个 operator<< 是 线程 安 
全 的 ， 也 不 能 保证 原子 性 。 因 为 cout << a << b; 是 两 次 国 数 调用 ， 相 当 
于 cout.operator<<(a). operator<<(b)。 两 次 调用 中 间 可 能 会 被 打 断 进行 上 
下 文 切换 ， 造 成 输出 内 容 不 连续 ， 插 入 了 其 他 线程 打印 的 字符 。 而 
fprintf(stdout, "%s %d", a, b); 是 一 次 函数 调用 ， 而 且 是 线程 安全 的 ， 打 
印 的 内 容 不 会 受 其 他 线程 影响 。 因 此 ，iostream 并 不 适合 在 多 线程 程序 
中 做 logging。 


iostream 的 局 限 
根据 以 上 分 析 ， 我 们 可 以 归纳 iostream 的 局 限 : 


.输入 方面 ，istream 不 适合 输入 带 格 式 的 数据 ， 因 为 * 纠 错 ” 能 力 不 
强 ， 进 一 步 的 分 析 请 见 孟 宕 写 的 《契约 思想 的 一 个 反面 案例 》， 孟 宕 
说 “复杂 的 设计 必然 带 来 复杂 的 使 用 规则 ， 而 面 对 复杂 的 使 用 规则 ， 用 
户 是 可 以 投票 的 ， 那 就 是 : 你 做 你 的 ， 我 不 用 ! ”可 谓 鞭 尽 入 里 。 如 果 
要 用 istream， 我 推荐 的 做 法 是 用 std::getline() 读 入 一 行 数据 到 
std::string， 然 后 用 正则 表达 式 来 判断 内 容 正 误 ， 并 做 分 组 ， 最 后 用 
strtod0/strtol0 之 类 的 函数 做 类 型 转换 。 这 样 似 乎 更 容易 写 出 健壮 的 程 
序 。 

.输出 方面 ，ostream 的 格式 化 输出 非常 烦琐 ， 而 且 写 死 在 代码 里 ， 
不 如 stdio 的 小 语言 那么 灵活 通用 。 建 议 只 用 作 简 单 的 无 格式 输出 。 

:log 方面 ， 由 于 ostream 没 有 办 法 在 多 线程 程序 中 保证 一 行 输出 的 完 
整 性 ， 建 议 不 要 直接 用 它 来 写 log。 如 果 是 简单 的 单线 程 程序 ， 输 出 数 
据 量 较 少 的 情况 下 可 以 酌情 使 用 。 产 品 代 码 应 该 用 成 熟 的 logging 库 ， 
见 第 5 章 。 

-in-memory 格 式 化 方面 ， 由 于 ostringstream 会 动态 分 配 内 存 ， 它 不 
适合 性 能 要 求 较 高 的 场合 。 

.文件 IO 方面 ， 如 果 用 作文 本 文件 的 输入 或 输出 ，fstream 有 上 述 的 
缺点 ;如 果 用 作 二 进 制 数据 的 输入 输出 ， 那 么 自己 简单 封装 一 个 File 
class 似 乎 更 好 用 ， 也 不 必 为 用 不 到 的 功能 付出 代价 (后 文 还 有 具体 例 
子 ) 。ifstream 的 一 个 用 处 是 在 程序 启动 时 读 入 简单 的 文本 配置 文件 。 
如 果 配 置 文件 是 其 他 文本 格式 的 〈XML 或 JSON) ， 那 么 用 相应 的 库 来 
读 ， 也 用 不 到 ifstream。 

.性 能 方面 ，iostream 没 有 兑现 “高 效 性 ” 话 言 2。iostream 在 某 些 场合 
上 stdio 快 ， 在 某 些 场合 比 stdio 慢 ， 对 于 性 能 要 求 较 高 的 场合 ， 我 们 应 
该 自己 实现 字符 串 转 换 ( 见 后 文 的 代码 与 测试 ) 。 


既然 有 这 么 多 局 限 ，iostream 在 实际 项 目 中 的 应 用 就 大 为 受 限 了 ， 
在 这 上 面 投 入 太 多 的 精力 实在 不 值得 。 说 实话 ， 我 没有 见 过 哪个 C++ 产 
品 代码 使 用 iostream 来 作为 输入 输出 设施 。Google 的 C++ 编 程 规 范 也 对 
stream 的 使 用 做 了 明确 的 限制 。 


11.6.5 iostream 在 设计 方面 的 缺点 


iostream 的 设计 有 相当 多 的 WTFs:a，stackoverflow 有 人 抱怨 说 : “If 
you had to judge by today's software engineering standards, would C++ 'S 
IOStreams still be considered well-designed?”2 


面向 对 象 的 设计 


iostream 是 个 面向 对 象 的 IO 类 库 ， 本 节 简 单 介绍 它 的 继承 体系 。 对 
iostream 略 有 了 解 的 人 会 知道 它 用 了 多 重 继 承 和 虚拟 继承 ， 简 单 地 男 个 
类 图 如 下 ( 见 图 11-1) ， 这 是 典型 的 菱形 继承 。 


iostream 


图 11-1 


如 果 加 深 一 点 了 解 ， 会 发 现 iostream 现 在 是 模板 化 的 ， 同 时 支持 罕 
字符 和 宽 字 符 。 图 11-2 是 现在 的 继承 体系 ， 同 时 画 出 了 fstream(s) 和 
stringstream(s)。 图 11-2 中 方 框 的 第 二 三 行 是 模板 的 具 现 化 类 型 ， 即 我 们 
代码 里 常用 的 具体 类 型 (通过 typedef 定 义 ) 。 这 个 继承 体系 焰 合 了 面 
向 对 象 与 泛 型 编程 ， 但 可 惜 它 两 方面 都 不 讨好 。 


10S_base 


A 
basic_ios<> 
i0s, WI1iOSs 
可 


{virtual} 


basic_istream<> basic_ostream<> 
istream ostream 
wistream wostream 


basic_iostream<> 
iostream 
wiostream 


basic_ifstream<> basic_fstream<> basic_ofstream<> 
ifstream fstream ofstream 
wifstream wfstream wofstream 


basic_istringstream<> basic_stringstream<> basic_ostringstream<> 
istringstream stringstream ostringstream 
wistringstream wstringstream wostringstream 


图 11-2 
再 进一步 加 深 了 解 ， 发 现 还 有 一 个 平行 的 streambuf 继 承 体 系 〈 见 
11-3) ，fstream 和 stringstream 的 主要 区 别 在 于 使 用 了 不 同 的 streambnuf 
派生 类 型 。 


basic_streambuf<> 
streambuf, wstreambuf 


basic_stringbuf<> basic_filebuf<> 
stringbuf, wstringbuf filebuf, wfilebuf 


图 11-3 


再 把 这 两 个 继承 体系 画 到 一 幅 图 里 ， 如 图 11-4 所 示 。 


Jnq3uIISA UBadJ1S3UII1SOA UUBadJ1S3SUIIISA UBeJ1S3UIIISTA 
Jnqs3urns WUBII}SBUIIISO IIUB3IS3UII]1S UIBalIlS3UIIST 
<>Jnq3uirls 5oISeq <>LUIBallS3UII1SO DISBq <>UBellS3SUIIIS DISBq <>UBolJlS3UIIISI DISBq 


Jnqa[TUA UUBall1SJOoA UUBaJ1SJA UPBaJISJTIA 
JnqafT[I UIB3aJSJO UTB3aJ]1SJ UIPaIJSJI 
<>jJnqalIIJ 5?ISedq <>UB9I1SJo 5ISBq <>UBo9ISJ 2ISBq <>UIB3ISJIL 95ISBq 


UUB9J1SOTAA 
UIB3aI]SOT 
<>UBalJlSoI DISBq 


UBadIlSOA LUUB9J1STIA 
UsIl1SO IIB3I1SI 
<>UIBallso DISBq <>UBallSL 591ISBq 


jnqueaISA 
JnqmueaI]S 
<>jJnqtueBaJl8S DISBq 


SOIM “SOI 
<>SOI IISPq 


aseq sol 


图 11-4 


注意 到 basic ios 持 有 了 streambuf 的 指针 ; 而 fstream(s) 和 
stringstream(sS) 则 分 别 包含 filebuf 和 stringbuf 的 对 象 。 看 上 去 有 点 像 
Bridge 模 式 。 

看 了 这 样 “巴洛克 ”的 设计 ， 有 没有 人 还 打算 在 自己 的 项 目 中 通过 
继承 iostream 来 实现 自己 的 stream， 以 实现 功能 扩展 呢 ? 


面向 对 象 方面 的 设计 缺陷 


本 节 我 们 分 析 一 下 iostream 的 设计 违反 了 哪些 OO 准则 。 

我 们 知道 ， 面 向 对 象 中 的 public 继 承 需 要 满足 Liskov 奉 换 原则 ， 继 
承 非 为 复 用 ， 乃 为 被 复 用 #。 在 程序 里 需要 用 到 ostream 的 地 方 (例如 
operator<<) ， 我 传 入 ofstream 或 ostringstream 都 应 该 能 按 预期 工作 ， 这 
就 是 OO 继承 强调 的 * 可 替换 性 ”， 派 生 类 的 对 象 可 以 替换 基 类 对 象 ， 从 
而 被 客户 端 代码 operator<< 复 用 。 

iostream 的 继承 体系 多 次 违反 了 Liskov 原 则 ， 这 些 地 方 继 承 的 目的 
是 为 了 复 用 基 类 的 代码 ， 图 11-5 中 我 把 违规 的 继承 关系 用 虚线 标 出 。 


i0s_base 


/ 
istream 
df A v 


ifstream fstream ofstream 
stringstream 


图 11-5 


在 现 有 的 继承 体系 中 ( 见 图 11-5) ， 合 理 的 有 : = 


。 ifstreamis-a istream e。 istringstream is-a istream 
。 ofstream is-a ostream e。 ostringstream is-a ostream 
e。 fstream is-a iostream ® stringstream is-a iostream 


我 认为 不 怎么 合理 的 有 : 


ios 继 承 ios_base。 有 没有 哪 种 情况 下 函数 期 待 ios_base 对 象 ， 但 是 
客户 可 以 传 入 一 个 ios 对 象 替代 之 ? 如 果 没 有 ， 这 里 用 public 继 承 是 不 是 
违反 OO 原则 ? 

istream 继 承 ios。 有 没有 哪 种 情况 下 函数 期 待 ios 对 象 ， 但 是 客户 可 
以 传 入 一 个 istream 对 象 蔡 代 之 ?如果 没有 ， 这 里 用 public 继 承 是 不 是 违 


反 OO 原 则 ? 
:ostream 继 承 ios。 有 没有 哪 种 情况 下 函数 期 待 ios 对 象 ， 但 是 客户 可 
以 传 入 一 个 ostream 对 象 蔡 代 之 ?如 果 没 有 ， 这 里 用 public 继 承 是 不 是 违 
反 OO 原 则 ? 
“iostream 多 重 继承 istream 和 ostream。 为 什么 jostream 要 同时 继承 两 
个 noninterfaceclass? 这 是 接口 继承 还 是 实现 继承 ? 是 不 是 可 以 用 组 合 
(composition) 来 替代 ? : 


用 组 合 蔡 换 继承 之 后 的 体系 如 图 11-6 所 示 。 


en 2 ostream 
iostream 
A 
ifstream fstream ofstream 
istringstream stringstream ostringstream 


图 11-6 
注意 到 在 新 的 设计 中 ， 只 有 真正 的 is-a 关系 采用 了 public 继 承 ， 其 
他 均 以 组 合 来 代替 ， 组 合 关系 以 萎 形 箭头 表示 。 新 的 设计 没有 使 用 点 
拟 继承 或 多 重 继承 。 
其 中 iostream 的 新 实现 值得 一 提 ， 代 码 结构 如 下 : 


class istream; 
class ostream:; 


class iostream 


{ 

public: 
lstream& get_istream(); 
ostream& get_ostream(); 
virtual ~iostream(); 


| 
}; 

这 样 一 来 ， 在 需要 iostream 对 象 表 现 得 像 istream 的 地 方 ， 调 用 
get_istream(0) 汶 数 返 回 一 个 istream 的 引用 ; 在 需要 iostream 对 象 表现 得 像 
ostream 的 地 方 ， 调 用 get_ostream0 图 数 返回 一 个 ostream 的 引用 。 功 能 不 
受 影 响 ， 而 且 代 码 更 清晰 ，istreaam 和 ostream 也 不 必 使 用 虚拟 继承 了 。 

(我 非常 怀疑 iostream class 的 真正 价值 ， 一 个 东西 既 可 读 又 可 写 ， 说 明 
它 是 一 个 sophisticated IO 对 象 ， 为 什么 还 用 这 么 厚 的 OO 封装 ? ) 


阳春 的 locale 


iostream 的 故事 还 不 止 这 些 ， 它 还 包含 一 套 阳春 的 locale/facet 实 
现 ， 这 套 实 践 中 没 人 用 的 东西 进一步 增加 了 iostream 的 复杂 度 ， 而 且 不 
可 避免 地 影响 其 性 能 。Nathan Myers 正 是 其 始作俑者 #。 

ostream 上 自身 定义 的 针对 整数 和 浮 点 数 的 operator<< 成 员 了 图 数 的 函数 
体 是 : 


ostream& ostream: :operator<<(int val) // 或 double val 


bool failed = 
use_facet<num_put>(getloc()).put( 
ostreambuf_iterator(*xthis), *this, fill(), val).failed(); 
A ns 
它 会 调用 num_put::put()， 后 者 会 去 调用 num_put::do_put()， 而 
do_put() 是 个 虚 遂 数 ， 没 办 法 inline。iostream 在 性 能 方面 的 不 足 仅 怕 部 
分 来 自 于 此 。 这 个 虚 遂 数 白白 瀛 费 了 把 template 的 实现 放 到 头 文件 应 得 


的 好 处 ， 编 译 和 运行 速度 都 快 不 起 来 。 这 就 是 我 说 iostream 在 沁 型 方面 
不 讨好 的 原因 。 
我 没有 深入 挖掘 其 中 的 细节 ， 感 兴趣 的 读者 可 以 移 步 观 看 facet 的 


继承 体系 : 
http://gcc.gnu.org/onlinedocs/libstdc++/libstdc++-html-USERS-4.4/a00431.html 


据 此 分 析 ， 我 不 认为 以 iostream 为 基础 的 上 层 程 序 库 (比方 说 那些 
克服 iostream 格 式 化 方面 的 缺点 的 库 ) 有 多 大 的 实用 价值 。 


腾 造 抽象 


备 岩 评价 *iostream 最 大 的 缺点 是 脐 造 抽象 ”， 我 非常 赞同 他 的 观 
占 


/ANMO 


这 个 评价 同样 适用 于 Java 那 一 套 “ 芋 床 架 屋 ”的 InputStream、 
OutputStream、Reader、Writer 继 承 体系 ，.NET 也 摘 了 这 么 一 套 繁 文 给 
To 

乍 看 之 下 ， 用 input stream 表 示 一 个 可 以 * 读 ”的 数据 流 ， 用 outpnut 
stream 表 示 一 个 可 以 “ 写 ” 的 数据 流 ， 屏 散 底 层 细 节 ， 面 向 接口 编程 ， 
“符合 面向 对 象 原 则 ”， 似 乎 是 一 件 美妙 的 事情 。 但 是 ， 真 实 的 世界 要 
残酷 得 多 。 

IO 是 个 极度 复杂 的 东西 ， 就 拿 最 常见 的 memory stream、file 
stream、 socket stream 来 说 ， 它 们 之 间 的 差异 极 大 : 


:是 单 向 IO 还 是 双向 IO。 只 读 或 者 只 写 ? 还 是 既 可 读 又 可 写 ? 

顺序 访问 还 是 随机 访问 。 可 不 可 以 seek? 可 不 可 以 退回 n 字 节 ? 

:文本 数据 还 是 二 进 制 数据 。 输 入 数据 格式 有 误 怎 么 办 ? 如 何 编写 
健壮 的 处 理 输入 的 代码 ? 

.有 无 缓冲 。 write 500 字 节 是 否 能 保证 完全 写 入 ? 有 没有 可 能 只 写 
入 了 300 字 节 ? 余下 200 字 节 怎么 办 ? 

:是 否 阻塞 。 会 不 会 返回 EWOULDBLOCK 错 误 ? 


:有 哪些 出 错 的 情况 。 这 是 最 难 的 ，memory stream 几 乎 不 可 能 出 
首 ，file stream 和 socket stream 的 出 错 情况 完全 不 同 。socket stream 可 能 


遇 到 对 方 断 开 连接 ，file stream 可 能 遇 到 超出 磁盘 配额 。 


根据 以 上 列举 的 初步 分 析 ， 我 不 认为 有 办 法 设计 一 个 公共 的 基 类 
把 各 方面 的 情况 都 考虑 周全 。 各 种 IO 设施 之 间 共 性 太 小 ， 差 异 太 大 ， 
例外 太 多 。 如 果 硬 要 用 面向 对 象 来 建 模 ， 基 类 要 么 太 瘦 (只 放 共 性 ， 
这 个 基 类 包含 的 interface functions 没 多 大 用 ) ， 要 么 太 肥 (把 各 种 IO 设 
施 的 特性 都 包含 进来 ， 这 个 基 类 包含 的 interface functions 很 多 ， 但 是 不 
是 每 一 个 都 能 调用 ) 。 

一 个 基 类 设计 得 好 ， 大 家 才 愿 意 去 继承 它 。 比 如 Runnable 是 个 很 好 
的 抽象 ， 有 不 计 其 数 的 实现 。InputStream/OutputStream 好 区 也 有 若干 个 
实现 ( 见 图 11-7) 。 反 观 istreamyostream， 只 有 标准 库 提供 的 两 套 默 认 
实现 ， 在 项 目 中 极 少 有 人 会 去 继承 并 扩展 它 ， 是 不 是 说 明 
istream/ostream 这 一 套 抽象 不 怎么 好 使 呢 ? 
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FileInputStream BufferedInputStream 
e 
FilterlnputStream (< DatalnputStream 
~ 
pr ObjectInputStream PushbacklnputStream 


InputStream 及 
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WW PipedInputStream 
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FileOutputStream BufferedOutputStream 
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PipedOutputStream 
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图 11-7 


当然 ， 假 如 Java 有 C++ 那样 强大 的 template 机 制 ， 图 11-7 中 的 继承 体 
系 能 简化 不 少 。 

若 要 在 C 语 言 里 解决 这 个 问题 ， 通 常 的 办 法 是 用 一 个 int 表 示 IO 对 象 
(file 或 PIPE 或 sockeb ， 然 后 配 以 read(0/write(OyVlseekOy/fcnt0 等 一 系列 
全 局 遂 数 ， 程 序 员 自己 搭配 组 合 。 这 个 做 法 我 认为 比 面 向 对 销 的 方案 
要 简洁 高 效 。 

iostream 在 性 能 方面 没有 比 stdio 高 多 少 ， 在 健壮 性 方面 多 半 不 如 
stdio， 在 灵活 性 方面 受制 于 本 身 的 复杂 设计 而 难以 让 使 用 者 自行 扩 
展 。 目 前 看 起 来 只 适合 一 些 简单 的 、 要 求 不 高 的 应 用 ， 但 是 又 不 得 不 
为 它 的 复杂 设计 付出 运行 时 人 代价， 总之， 其 定位 有 点 不 上 不 下 。 

在 实际 的 项 目 中 ， 我 们 可 以 提炼 出 一 些 简单 高 效 的 strip-down 版 
本 ， 在 获得 便利 性 的 同时 避免 付出 不 必要 的 代价 。 


11.6.6 “一 个 300 行 的 memory buffer output stream 


我 认为 以 operator<< 来 输出 数据 非常 适合 logging ( 见 第 5 章 ) ， 
此 写 了 一 个 简单 的 muduo::LogStream class。 代 码 不 到 300 行 ， 完 全 独立 
于 iostream， 位 于 muduo/base/LogStream.{h,cc} 。 


这 个 LogStream 做 到 了 类 型 安全 和 类 型 可 扩展 ， 效 率 也 较 高 。 它 不 
支持 定制 格式 化 、 不 支持 locale/facet、 没 有 继承 、buffer 也 没有 继承 与 
虚 冰 数 、 没 有 动态 分 配 内 存 、buffer 大 小 固定 。 简 单 地 说 ， 适 合 logging 
以 及 简单 的 字符 串 转 换 。 这 基本 上 是 Bjarne 在 1984 年 写 的 ostream 的 翻 
版 。 

LogStream 的 接口 定义 如 下 : 


class Buffer; 
class LogStream : boost::noncopyable 


typedef LogStream self; 
public: 


self& operator<<(bool) ; 


self& operator<<(short); 

self& operator<<(unsigned short); 
self& operator<<(int) ; 

self& operator<<(unsigned int) ; 

self& operator<<(long):; 

self& operator<<(unsigned long); 
self& operator<<(long long); 

self& operator<<(unsigned long long); 


self& operator<<(const voidx); 
self& operator<<(float) ; 

self& operator<<(double) ; 

// self& operator<<(long double); 


self& operator<<(char); 
// self& operator<<(signed char); 
// self& operator<<(unsigned char); 


self& operator<<(const char*); 
self& operator<<(const string&); 


void append(const charx data, int len); 
const Buffer& buffer() const { return buffer_; } 
void resetBuffer() { buffer_.reset(); } 


private: 
Buffer buffer_; 
和 
LogStream 本 身 不 是 线程 安全 的 ， 它 不 适合 做 线程 间 的 共享 对 象 。 
正确 的 使 用 方式 是 每 条 log 消 息 构造 一 个 LogStream， 用 完 就 扔 。 
LogStream 的 成 本 极 低 ， 这 么 做 不 会 有 什么 性 能 损失 。 


整数 到 字符 串 的 高 效 转换 


muduo::LogStream 的 整数 转换 是 自己 写 的 ， 用 的 是 Matthew Wilson 
的 算法 ， 见 $12.3“ 带 符号 整数 的 除法 与 余数 ”"。 这 个 算法 比 stdio 和 
iostream 都 要 快 。 


浮 点 数 到 字符 串 的 高 效 转换 


目前 muduo::LogStream 的 浮 点 数 格式 化 采用 的 是 snprintf()。 所 以 从 
性 能 上 与 stdio 持 平 ， 比 ostream 快 一 些 。 

浮 点 数 到 字符 串 的 转换 是 个 复杂 的 话题 ， 这 个 领域 20 年 以 来 没有 
什么 进展 〈 目 前 的 实现 大 都 基于 David M. Gay 在 1990 年 的 工作 : 

《Correctly Rounded BinaryDecimal and Decimal-Binary Conversions》 ， 
代码 : http://netlib.org/fp/ ) ， 直 到 2010 年 才 有 突破 。 

Florian Loitsch 发 明了 新 的 更 快 的 算法 Grisu3， 他 的 论文 《Printing 
floatingpoint numbers quickly and accurately with integers》 发 表 在 PLDI 
2010， 代 码 见 Google V85 引 擎 以 及 
http://code.google.com/p/double-conversion/ 。 有 兴趣 的 读者 可 以 阅读 这 篇 
博客 *。 

将 来 muduo::LogStream 可 能 会 改 用 Grisu3 算 法 实现 浮 点 数 转换 。 


性 能 对 比 


由 于 muduo::LogStream 抛 掉 了 很 多 负担 ， 因 此 可 以 预见 它 的 性 能 好 
于 ostringstream 和 stdio。 我 做 了 一 个 简单 的 性 能 测试 ， 结 果 如 表 11-1 和 
表 11-2 所 示 。 表 11-1 和 表 11-2 中 的 数字 是 打 E1000000 次 的 用 时 ， 以 之 
秒 为 单位 ， 越 小 越 好 。 


表 11-1 ”64-bit 测试 结果 


snprintf ostringstream LogStream 


int 499 363 113 
double 2315 3835 2338 
int64_t 486 347 145 


VOid* 419 330 47 
表 11-2 ”32-bit 测 试 结果 


snprintf ostringstream LogStream 


int 544 453 116 
double 2241 4030 2267 
int64_t T7259 958 654 
VoOid* 690 425 65 


从 表 11-1 和 表 11-2 看 出 ，ostreamstream 有 了 时候 比 snprintf() 快 ， 有 时 
候 比 它 慢 ，muduo::LogStream 比 它们 两 个 都 快 得 多 (double 类 型 除 
外 ) 。 


泛 型 编程 


其 他 程序 库 如 何 使 用 LogStream 作 为 输出 呢 ? 办 法 很 简单 ， 用 模 
板 。 

前 面 我 们 定义 了 Date class 针 对 std::ostream 的 operator<<， 只 要 稍 作 
修改 就 能 同时 适用 于 std::ostream 和 LogStream。 而且 Date 的 头 文件 不 再 


需要 放 nclude<ostream> ， 降 低 了 耦合 。 


// 不 必 包 含 LogStream 或 ostream 头 文件 
class Date 


{ 
public: 
Date(int year, int month, int day); 


void writeTo(std::ostream& os) const 
template<typename OStream> 
+ void writeTo(OStream& os) const 


char buf[32]; 
snprintf(buf, sizeof buf, "»%»d-%02d-%02d", year_, month_, day_); 
os << buf; 


} 


private: 
int year_, month_, day_; 


}); 


-std: :ostream& operator<<(std: :ostream& os, const Date& date) 
+template<typename OStream> 
+OStream& operator<<(OStream& os, const Date& date) 


{ 
date.writeTo(os); 
return os; 


} 
格式 化 


muduo::LogStream 本 身 不 支持 格式 化 ， 不 过 我 们 很 容易 为 它 做 扩 
展 ， 定 义 一 个 简单 的 Fmt class 就 行 ， 而 且 不 影响 stream 的 状态 。 


class Fmt : boost: :noncopyable 


public: 
template<typename T> 
Fmt(const char* fmt, T val) 


BOOST_STATIC_ASSERT(boost::is_arithmetic<T>: :value == true); 
length_ = snprintf(buf_, sizeof buf_, fmt, val); 
} 


const charx data() const { return buf_; } 
int length() const { return length_; } 


private: 

char buf_[32]; 
int length._; 
~ 


inline LogStream& operator<<(LogStream& os, const Fmt& fmt) 


t 
os.append(fmt.data(), fmt.length()); 
return s; 


} 
使 用 方法 : 
Log9tream os; 
double x = 19.82; 
int y = 43; 
os << Fmt("%8.3f"”, x) << Fmt("%4d”, y): 


11.6.7 “现实 的 C++ 程序 如 何 做 文件 IO 


下 面 举 三 个 例子 ，Google Protobuf Compiler、Google leveldb、 
Kyoto Cabineto 


Google Protobuf Compiler 


Google Protobuf 是 一 种 高 效 的 网 络 传输 格式 ， 它 用 一 种 协议 描述 语 
言 来 定义 消息 格式 ， 并 且 自 动 生 成 序列 化 代码 。Protobuf Compiler 是 这 


种 “协议 描述 语言 ”的 编译 器 ， 它 读 入 协议 文件 .proto， 编 译 生成 C++、 
Java、Python 代 码 。proto 文 件 是 个 文本 文件 ， 然 而 Protobuf Compiler 并 
没有 使 用 ifstream 来 读 取 它 ， 而 是 使 用 了 自己 的 FileInputStream 来 读 取 文 
件 。 

大 致 代码 流程 如 下 : 


1. ZeroCopyInputStreamz 是 一 个 抽象 基 类 。 

2. FileInputStreama 继 承 并 实现 了 ZeroCopyInputStreamo 

3. Tokenizers 是 词法 分 析 器 ， 它 把 proto 文 件 分 解 为 一 个 个 字 元 

(token) 。Tokenizer 的 构造 水 数 以 ZeroCopyInputStream 为 参数 ， 从 该 

stream 读 入 文本 。 

4. Parser2 是 语法 分 析 器 ， 它 把 proto 文 件 解析 为 语法 树 ， 以 
FileDescriptorProto 表 示 。 Parser 的 构造 疯 数 以 Tokenizer 为 参数 ， 从 它 读 
入 字 元 。 


由 此 可 见 ， 即 便 是 读 取 文本 文件 ，C++ 程 序 也 不 一 定 要 用 


ifstreamo 


Google leveldb 


Google leveldb 是 一 个 高 效 的 持久 化 key-value db。4 它 定义 了 三 个 
精简 的 interface 用 于 文件 输入 输出 : 


SequentialFile 


RandomAccessFile 
"WritableFile 


接口 冰 数 如 下 : 


struct Slice { 
const char* data_; 
size_t Size_; 


中 


// A file abstraction for reading sequentially through a file 
class SequentialFile { 

public: 

SequentialFile() { } 

virtual ~SequentialFile(); 


virtual Status Read(size_t n, Slice* result, char* scratch) = 
virtual Status Skip(uint64_t n) = 
2 


// A file abstraction for randomly reading the contents of a file. 
class RandomAccessFile { 

public: 

RandomAccessFile() { } 

virtual ~RandomAccessFile(); 


virtual Status Read(uint64_t offset, size_t n, Slice* result, 
charx scratch) const = 0; 


让 


// A file abstraction for sequential writing. The implementation 
// must provide buffering since callers may append small fragments 
// at atime to the file. 
class WritableFile { 

public: 

WritableFile() { } 

virtual ~WritableFile(); 


virtual Status Append(const Slice& data) = 
virtual Status Close() = 0; 
virtual Status Flush() = 0; 
virtual Status Sync() = 
于 


leveldb 明 确 区 分 input 和 output， 并 进一步 把 input 分 为 sequential 和 
random access， 然 后 提炼 出 了 三 个 简单 的 接口 ， 每 个 接口 只 有 屈指 可 数 


的 几 个 函数 。 这 几 个 接口 在 各 个 平台 下 的 实现 也 非常 简单 明了 2 ， 一 
看 就 懂 。 

注意 这 三 个 接口 使 用 了 虚 函 数 ， 我 认为 这 是 正当 的 ， 因 为 一 次 IO 
往往 伴随 着 系统 调用 和 context switch ， 虚 图 数 的 开销 比 起 context switch 
来 可 以 忽略 不 计 。 相 反 ，iostream 每 次 operator<<() 就 调用 虚 遂 数 ， 似 乎 
不 太 明 智 。 


Kyoto Cabinet 


Kyoto Cabinet 也 是 一 个 key-value db， 是 前 几 年 流行 的 Tokyo 
Cabinet 的 升级 版 。 它 采用 了 与 leveldb 不 同 的 文件 抽象 。KC 定 义 了 一 个 
File class， 同 时 包含 了 读 写 操作 ， 这 是 一 个 fat interface。 “在 具体 实现 
方面 ， 它 没有 使 用 虚 函 数 ， 而 是 采用 贡 fdef 来 区 分 不 同 的 平台 汪 ， 等 于 
把 两 份 独立 的 代码 写 到 了 同一 个 文件 中 。 

相 比 之 下 ，Google leveldb 的 做 法 更 高 明 一 些 。 


小 结 


在 C++ 项 目 中 ， 自 己 写 个 File class， 把 项 目 用 到 的 文件 IO 功能 简单 
封装 一 下 (以 RAII 手 法 封装 FILE* 或 者 file descriptor 都 可 以 ， 视 情况 而 
定 ) ， 通 常 就 能 满足 需要 。 记 得 把 拷贝 构造 和 赋值 操作 符 禁 用 ， 在 析 
构 函 数 里 释放 资产， 避免 泄 露 内 部 的 handle， 这 样 就 能 自动 避免 很 多 C 
语言 文件 操作 的 常见 错误 。 

如 果 要 用 stream 方 式 做 logging， 可 以 抛 开 繁重 的 iostream， 自 己 写 
一 个 简单 的 LogStream， 重 载 几 个 operator<< 操 作 符 ， 用 起 来 一 样 方 
便 ; 而 且 可 以 用 stack buffer， 轻 松 做 到 线程 安全 与 高 效 。 见 第 5 章 。 


11.7 ”和 值 语义 与 数据 抽象 


本 文 是 811.6“iostream 的 用 途 与 局 限 ” 的 后 续 ， 在 $811.6.3“iostream 与 
标准 库 其 他 组 件 的 交互 ”中 ， 我 简单 地 提 到 了 iostream 对 象 和 C++ 标 准 库 


中 的 其 他 对 象 〈 主 要 是 容器 和 string) 具有 不 同 的 语义 ， 主 要 体现 在 
iostream 不 能 拷贝 或 赋值 。 下 面具 体 谈 一 谈 我 对 这 个 问题 的 理解 。 

本 文 的 “对 象 * 定 义 较 为 宽泛 : a region of memory that has a type, 在 
这 个 定义 下 ，int、double、bool 变 量 都 是 对 象 。 


11.7.1 ”什么 是 值 语义 


值 语 义 (value semantics) 指 的 是 对 象 的 拷贝 与 原 对 象 无 关 4， 就 
像 拷贝 it 一样 。C++ 的 内 置 类 型 (bool/int/double/char) 都 是 值 语义 ， 
标准 库 里 的 complex<>、pair<>、vector<>、map<>、string 等 等 类 型 也 
都 是 值 语 意 ， 拷 贝 之 后 就 与 原 对 象 脱离 关系 。Java 语 言 的 primitive types 
也 是 值 语 义 。 

与 值 语义 对 应 的 是 “对 象 语义 (object semantics) ”， 或 者 叫做 引用 
语义 《reference semantics) ， 由 于 “引用 ”一 词 在 C++ 里 有 特殊 含义 ， 所 
以 我 在 本 文中 使 用 “对 象 语义 ”这 个 术语 。 对 象 语义 指 的 是 面向 对 象 意 
义 下 的 对 象 ， 对 象 拷贝 是 禁止 的 。 例 如 muduo 里 的 Thread 是 对 象 语义 ， 
拷贝 Thread 是 无 意义 的 ， 也 是 被 禁止 的 : 因为 Thread 代 表 线 程 ， 拷 贝 一 
个 Thread 对 象 并 不 能 让 系统 增加 一 个 一 模 一 样 的 线程 。 

同样 的 道理 ， 拷 贝 一 个 Employee 对 象 是 没有 意义 的 ， 一 个 雇员 不 
会 变 成 两 个 展 员 ， 他 也 不 会 领 两 份 薪水 。 拷 贝 TcpConnection 对 象 也 没 

意义 ， 系 统 中 只 有 一 个 TCP 连 接 ， 拷 贝 TcpConnection 对 象 不 会 让 我 
们 拥有 两 个 连接 。Printer 也 是 不 能 拷贝 的 ， 系 统 只 连接 了 一 个 打印 机 ， 
拷贝 Printer 并 不 能 赁 空 增加 打印 机 。 凡 此 总 总 ， 面 向 对 象 意义 下 的 “对 
象 ” 是 non-copyable。 


Java 中 的 class 对 象 都 是 对 象 语义 引用 语义 。 


ArrayList<Integer> a = new ArrayList<Integer>(); 
ArrayList<Integer> b = a; 


那么 a 和 b 指 向 的 是 同一 个 ArrayList 对 象 ， 修 改 a 同 时 也 会 影响 b。 
值 语义 与 immutable 无 关 。Java 有 value object 一 说 ， 按 (PoEAA 
486) 的 定义 ， 它 实际 上 是 immutableobject， 例 如 String、Integer、 


BigInteger、joda.time.DateTime 等 等 (因为 Java 没 有 办 法 实现 真正 的 值 
语义 class， 只 好 用 immutable object 来 模拟 ) 。 尽 管 immutable object 有 其 
自身 的 用 处 ， 但 不 是 本 文 的 主题 。muduo 中 的 Date、Timestamp 也 都 是 
immutable 的 。 

C++ 中 的 值 语义 对 象 也 可 以 是 mutable， 比 如 complex<>、pair<>、 
vector<>、map<>、string 都 是 可 以 修改 的 。muduo 的 InetAddress 和 
Buffer 都 具有 值 语义 ， 它 们 都 是 可 以 修改 的 。 

值 语义 的 对 象 不 一 定 是 POD， 例 如 string 就 不 是 POD， 但 它 是 值 语 
义 的 。 

值 语义 的 对 象 不 一 定 小 ， 例 如 vector<int> 的 元 素 可 多 可 少 ， 但 它 始 
终 是 值 语 义 的 。 当 然 ， 很 多 值 语 义 的 对 象 都 是 小 的 ， 例 如 complex<>、 


muduo::Date、muduo:: Timestamp。 


11.7.2” 值 语义 与 生命 期 


值 语 义 的 一 个 巨大 好 处 是 生命 期 管理 很 简单 ， 就 跟 int 一 样 一 一 你 
不 需要 操心 int 的 生命 期 。 值 语义 的 对 象 要 么 是 stack object， 要 么 直接 作 
为 其 他 object 的 成 员 ， 因 此 我 们 不 用 担心 它 的 生命 期 〈 一 个 函数 使 用 自 
己 stack 上 的 对 象 ， 一 个 成 员 函 数 使 用 自己 的 数据 成 员 对 象 ) 。 相 反 ， 
对 象 语义 的 object 由 于 不 能 拷贝 ， 因 此 我 们 只 能 通过 指针 或 引用 来 使 用 
官 s 

一 旦 使 用 指针 和 引用 来 操作 对 象 ， 那 么 就 要 担心 所 指 的 对 象 是 否 
已 被 释放 ， 这 一 度 是 C++ 程序 bug 的 一 大 来 产 。 此 外 ， 由 于 C++ 只 能 通 
过 指针 或 引用 来 获得 多 态 性 ， 那 么 在 C++ 里 从 事 基 于 继承 和 多 态 的 面向 
对 象 编程 有 其 本 质 的 困难 一 一 对 象 生 命 期 管理 (资源 管理 ) 。 

考虑 一 个 简单 的 对 象 建 模 一 一 家 长 与 子女 : a Parent has a Child, a 
Child knows its Parent。 在 Java 中 很 好 写 ， 不 用 担心 内 存 泄漏 ， 也 不 用 担 
心 空 悬 指针 : 


java code 


public class Parent 


private Child myChild; 


public class Child 
{ 


private Parent myParent; 


} 
Java code 


只 要 正确 初始 化 myChild 和 myParent， 那 么 Java 程 序 员 就 不 用 担心 
出 现 访 问 错 误 。 一 个 handle 是 否 有 效 ， 只 需要 判断 其 是 否 non null。 

在 C++ 中 就 要 为 资源 管理 费 一 番 脑 筋 : Parent 和 Child 都 代表 的 是 真 
人 ， 肯 定 是 不 能 拷贝 的 ， 因 此 具有 对 象 语义 。Parent 是 直接 持 有 Child 
吗 ? 抑或 Parent 和 Child 通 过 指针 互 指 ? Child 的 生命 期 由 Parent 控 制 吗 ? 
如 果 还 有 ParentClub 和 School 两 个 class， 分 别 代 表 家 长 俱乐部 和 学 校 : 
ParentClub has many Parent(s)，School has many Child(ren)， 那 么 如 何 保 
证 它们 始终 持 有 有 效 的 Parent 对 象 和 Child 对 象 ? 何 时 才能 安全 地 释放 
Parent 和 Child? 


oa 十 ry 了 
直接 但 是 易 错 的 写法 : 
C++ code 
class Child; 
class Parent : boost::noncopyable 
{ 
Child* myChild; 
}; 
class Child : boost::noncopyable 
{ 
Parent* myParent; 
); 
C++ C0de 


如 果 直 接 使 用 指针 作为 成 员 ， 那 么 如 何 确保 指针 的 有 效 性 ? 如 何 
防止 出 现 空 悬 指针 ? Child 和 Parent 由 谁 负 责 释 放 ? 在 释放 某 个 Parent 对 
象 的 时 候 ， 如 何 确保 程序 中 没有 指向 它 的 指针 ? 那么 释放 某 个 Child 对 
象 的 时 候 呢 ? 


这 一 系列 问题 一 度 是 C++ 面 向 对 象 编程 头疼 的 问题 ， 不 过 现在 有 了 
smart pointer， 我 们 可 以 借助 smart pointer 把 对 象 语义 转换 为 值 语义 2， 
从 而 轻松 解决 对 象 生命 期 问题 : 让 Parent 持 有 Child 的 smart pointer， 同 
时 让 Child 持 有 Parent 的 smart pointer， 这 样 始 终 引 用 对 方 的 时 候 就 不 用 
担心 出 现 空 悬 指针 。 当 然 ， 其 中 一 个 smart pointer 应 该 是 weak 
reference， 人 否则 会 出 现 循环 引用 ， 导 致 内 存 泄 漏 。 到 底 哪 一 个 是 weak 
reference， 则 取决 于 具体 应 用 场景 。 

如 果 Parent 拥 有 Child，Child 的 生命 期 由 其 Parent 控 制 ，Child 的 生命 
期 小 于 Parent， 那 么 代码 就 比较 简单 : 


class Parent ; 
class Child : boost: :noncopyabjle 


public: 

explicit Child(Parent* myParent_) 
: myParent(myParent_) 

{ } 


private: 
Parent* myParent ; 


和 


class Parent : boost::noncopyable 


{ 
public: 
Parent() 
: myChild(new Child(this)) 
1 


private: 
boost: :scoped_ptr<Child> myChild; 
}; 
在 上 面 这 个 设计 中 ，Child 的 指针 不 能 泄露 给 外 界 ， 否 则 仍然 有 可 
能 出 现 空 悬 指针 。 
如 果 Parent 与 Child 的 生命 期 相互 独立 ， 就 要 麻烦 一 


class Parent; 
typedef boost: :shared_ptr<Parent> ParentPtr; 


class Child : boost: :noncopyable 


{ 
public: 
explicit Child(const ParentPtr& myParent_) 
: myParent (myParent_) 


Ea 


private: 
boost: :weak_ptr<Parent> myParent; 
5 
typedef boost::shared_ptr<Child> ChildPtr; 


class Parent : public boost::enable_shared_from_this<Parent>, 
private boost::noncopyable 


{ 

public: 
Parent() 
长 去 


void addChild() 


myChild.reset(new Child(shared_from_this())); 
} 


private: 
ChildPtr myChild; 
}; 


int main() 


{ 


ParentPtr p(new Parent) ; 
p->addChild() ; 
} 


上 面 这 个 shared_ptr 十 weak_ptr 的 做 法 似乎 有 点 小 题 大 做 。 


考虑 一 个 稍微 复杂 一 点 的 对 象 模 型 : “a Child has parents: mom and 
dad; a Parent has one or more Child(ren); a Parent knows his/her spouse.” 这 


个 对 象 模型 用 Java 表 述 一 点 都 不 复杂 ， 垃 圾 收集 会 帮 有 我 们 搞定 对 象 生 命 
期 。 


java code 
public class Parent 
{ 
private Parent mySpouse; 
private ArrayList<Child> myCchildren; 
} 
public class Child 
private Parent myMom; 
private Parent myDad ; 
} 
Java code 


如 果 用 C++ 来 实现 ， 如 何 才能 避免 出 现 空 悬 指针 ， 同 时 避免 出 现 内 
存 泄漏 呢 ? 借助 shared_ptr 把 裸 指 针 转 换 为 值 语义 ， 我 们 就 不 用 担心 这 
两 个 问题 了 : 


C++ code 
class Parent; 
typedef boost: :shared_ptr<Parent> ParentPtr; 


class Child : boost::noncopyable 
{ 
public: 
explicit Child(const ParentPtr& myMom_， 
const ParentPtr& myDad_) 
: myMom(myMom_) ， 
myDad(myDad_) 


{ 

} 
private: 

boost: :weak_ptr<Parent> myMom; 
boost: :weak_ptr<Parent> myDad; 


天 
typedef boost: :shared_ptr<Child> ChildPtr; 


class Parent : boost::noncopyable 
public: 

Parent() 

{ 

} 


void setSpouse(const ParentPtr& spouse) 


{ 
mySpouse = spouse; 


} 
void addChild(const ChildPtr& child) 


myChildren.push_back(child); 
} 


private: 
boost: :weak_ptr<Parent> mySpouse; 
std: :vector<ChildPtr> myChildren; 


上 


int main() 

{ 
ParentPtr mom(new Parent ) ; 
ParentPtr dad(new Parent) ; 
mom->setSpouse(dad); 
dad->setSpouse (mom); 


ChildPtr child(new Child(mom, dad)); 
mom->addChild(child); 
dad->addChild(child); 

} 

{ 
ChildPtr child(new Child(mom, dad)); 
mom->addChild(child); 
dad->addChild(child); 


C++ code 


如 果 不 使 用 smart pointer， 用 C++ 做 面向 对 象 编程 将 会 困难 重重 。 
11.7.3 ”人 和 值 语义 与 标准 库 


C++ 要 求 凡是 能 放 入 标准 容器 的 类 型 必须 具有 值 语义 。 准 确 地 说 : 
type 必 须 是 SGIAssignable concept 的 model。 但 是 ho 
class 默 认 提 供 operaton 因此 除非 明确 茶 
Te 款 拓 尽 祝 管 程序 可 以 编译 

， 但 是 隔 卫 了 次 风 a Rik 

因此 ， 在 写 一 个 C++ class 的 时 候 ， 让 它 默认 继承 
boost::noncopyable， 几 乎 总 是 正确 的 。 

在 现代 C++ 中 ， 一 般 不 需要 自己 编写 copy constructor 或 assignment 
operator， 因 为 只 要 每 个 数据 成 员 都 具有 值 语 义 的 话 ， 编 译 器 自动 生成 
的 member-wise copying& assigning 就 能 正常 工作 ; 如 果 以 smart ptr 为 成 
员 来 持 有 其 他 对 象 ， 那 么 就 能 自动 启用 或 禁用 copying & assigning。 例 
外 : 编写 HashMap 这 类 底层 库 时 还 是 需要 自己 实现 copy control。 


11.7.4” 值 语义 与 C++ 语 言 


[三 | 


C++ 的 class 本 质 上 是 值 语义 的 ， 这 才 会 出 现 object slicing 这 种 语言 
独 有 的 问题 ， 也 才 会 需要 程序 员 注 意 pass-by-value 和 pass-by-const- 
reference 的 取舍 。 在 其 他 面向 对 象 编 程 语言 中 ， 这 都 不 需要 费 脑筋 。 

值 语义 是 C++ 语 言 三 大 约束 之 一 ，C++ 的 设计 初衷 是 让 用 户 定 义 的 
类 型 (class) 能 像 内 置 类 型 (int) 一 样 工 作 ， 具 有 同等 的 地 位 。 为 此 
C++ 做 了 以 下 设计 (妥协 ) : 


:Class 的 layout 与 C struct 一 样 ， 没 有 额外 的 开销 。 定 义 一 个 “只 包含 
一 个 int 成 员 的 class” 的 对 象 开销 和 定义 一 个 int 一 样 。 

.甚至 class data member 都 默认 是 uninitialized， 因 为 遂 数 局 部 的 int 也 
是 如 此 。 

:class 可 以 在 stack 上 创建 ， 也 可 以 在 heap 上 创建 。 因 为 int 可 以 是 
stack variableo 

:class 的 数组 就 是 一 个 个 class 对 象 挨 着 ， 没 有 额外 的 indirection。 
为 int 数 组 就 是 这 样 的 。 因 此 派生 类 数组 的 指针 不 能 安全 转换 为 基 类 指 
针 。 

:编译 器 会 为 class 默 认 生 成 copy constructor 和 assignment operatoro 
其 他 语言 没有 copy constructor 一 说 ， 也 不 允许 重 载 assignment operatoro 
C++ 的 对 象 默 认 是 可 以 拷贝 的 ， 这 是 一 个 尴 傣 的 特性 。 

` 当 class type 传 入 图 数 时 ， 默 认 是 make a copy (除非 参数 声明 为 
reference) 。 因 为 把 int 传 入 水 数 时 是 make a copy。 

C++ 的 “ 义 数 调用 ” 比 其 他 语言 复杂 之 处 在 于 参数 传递 和 返回 值 传 
递 。C、Java 等 语言 都 是 传 值 ， 简 单 地 复制 几 个 字 节 的 内 存 就 行 了 。 但 
是 C++ 对 象 是 值 语义 ， 如 果 以 pass-by-value 方 式 把 对 象 传 入 图 数 ， 会 涉 
及 拷贝 构造 。 代 码 里 看 到 一 句 简单 的 函数 调用 ， 实 际 背 后 发 生 的 可 能 
是 一 长 串 对 象 构造 操作 ， 因 此 减少 无 谓 的 临时 对 象 是 C++ 代码 优化 的 关 
键 之 一 。 

: 当 函 数 返回 一 个 class type 时 ， 只 能 通过 make a copy (C++ 不 得 不 
定义 RVO 来 解决 性 能 问题 ) 。 因 为 图 数 返 回 int 时 是 make a copyo。 


.以 class type 为 成 员 时 ， 数 据 成 员 是 主 入 的 。 例 如 
pair<complex<double>, size_t> 的 layout 就 是 complex<double> 挨 着 


size_to 


这 些 设 计 带 来 了 性 能 上 的 好 处 ， 原 因 是 memory locality。 上 比方 说 我 
们 在 C++ 里 定义 complex<double> class，array of complex<double>， 
vector<complex<double> >， 它 们 的 layout 如 图 11-8 所 示 。 (re 和 im 分 别 
是 复数 的 实 部 和 虚 部 。) 


complex[3]: re 


vector<complex>: re 


图 11-8 


而 如 果 我 们 在 Java 里 干 同样 的 事情 ，layout 大 不 一 样 ，memory 
locality 也 差 很 多 ( 见 图 11-9) 。 


Complex: handle | 一 head 


Complex[]: handle 


array handle 


[] 


ArrayList<Complex>: handle ———» head size 


图 11-9 


在 Java 中 每 个 object 都 有 head， 在 常见 的 JVM 中 至 少 有 两 个 word 的 
开销 。 对 比 Java 和 C++， 可 见 C++ 的 对 象 模型 要 紧凑 得 多 。 


11.7.5 “什么 是 数据 抽象 


本 节 谈 一 谈 与 值 语义 紧密 相关 的 数据 抽象 (data abstraction) ， 解 
释 为 什么 它 是 与 面向 对 象 并 列 的 一 种 编程 范式 ， 为 什么 支持 面向 对 象 
的 编程 语言 不 一 定 支 持 数据 抽象 。C++ 在 最 初 的 时 候 以 data abstraction 
为 卖点 ， 不 过 随 着 时 间 的 流逝 ， 现 在 似乎 很 多 人 只 知 Object-Oriented， 
不 知 data abstraction 了 。 C++ 的 强大 之 处 在 于 “抽象 ”不 以 性 能 损失 为 代 
价 ， 本 节 我 们 将 看 到 具体 例子 。 


数据 抽象 (data abstraction) 是 与 面向 对 象 (object-oriented) 并 列 
的 一 种 编程 范式 (programming paradigm) 。 说 “数据 抽象 ”或许 显得 阳 
生 ， 它 的 另外 一 个 名 字 “ 抽 象 数 据 类 型 (abstract data type，ADT) ” 想 
必 如 雷 贯 耳 。 

“支持 数据 抽象 ”一直 是 C++ 语言 的 设计 目标 ，Bjarne Stroustrup 在 他 
的 《The C++ Programming Language (第 2 版 ) 》 (1991 年 出 版 ) 中 写 
道 : 

The C++ programming language is designed to 


‘be a better C 
'SUpport data abstraction 
‘support object-oriented programming 


这 本 书 的 第 3 版 〈1997 年 出 版 ) 增加 了 一 条 : 


C++ is a general-purpose programming language with a bias towards 
Systems programming that 


“is a better C, 

‘supports data abstraction, 

‘supports object-oriented programming, and 
“supports generic programming. 


在 C++ 的 早期 文献 2 中 有 一 篇 Bjarne Stroustrup 于 1984 年 写 的 《Data 
Abstraction in C++》。 在 这 个 页 面 还 能 找到 Bjarne 写 的 关于 C++ 操 作 符 
重 载 和 复数 运算 的 文章 ， 作 为 数据 抽象 的 详解 与 范例 。 可 见 C++ 早期 是 
以 数据 抽象 为 卖点 的 ， 支 持 数据 抽象 是 C++ 相对 于 C 的 一 大 优势 。 

作为 语言 的 设计 者 ，Bjame 把 数据 抽象 作为 C++ 的 四 个 子 语言 之 
一 。 这 个 观点 不 是 被 普遍 接受 的 ， 比 如 作为 语言 的 使 用 者 ，Scott 
Meyers 在 [EC3] 中 把 C++ 分 为 四 个 子 语言 : C、Object-Oriented C++、 
Template C++、STL。 在 Scott Meyers 的 分 类 法 中 ， 就 没有 出 现 数据 抽 
象 ， 而 是 归 入 了 Object-Oriented C++。 

那么 到 底 什么 是 数据 抽象 ? 简单 地 说 ， 数 据 抽象 是 用 来 描述 
(抽象 ) 数据 结构 的 。 数 据 抽象 就 是 ADT。 一 个 ADT 主 要 表现 为 它 支 


持 的 一 些 操 作 ， 比 方 说 stack:: pushO、stack::popO0， 这 些 操作 应 该 具有 
明确 的 时 间 和 空间 复杂 度 。 另 外 ， 一 个 ADT 可 以 隐藏 其 实现 细节 ， 例 
如 stack 既 可 以 用 动态 数组 实现 ， 又 可 以 用 链表 实现 。 

按照 这 个 定义 ， 数 据 抽 象 和 基于 对 象 (object-based) 很 像 ， 那 么 
它们 的 区 别 在 哪里 ? 语义 不 同 。ADT 通 常 是 值 语义 ， 而 object-based 是 
对 象 语义 。 (这 两 种 语义 的 定义 见 811.7.1“ 什 么 是 值 语义 ”) 。ADT 
class 是 可 以 拷贝 的 ， 拷 贝 之 后 的 instance 与 原 instance 脱 离 关 系 。 

比方 说 


stack<int> a; 


a.push(10); 

stack<int> DD =sa 
b.pop(); 

这 时 候 a 里 仍然 有 元 素 10。 
C++ 标 准 库 中 的 数据 抽象 


C++ 标 准 库 里 complex<>、pair<>、vector<>、list<>、map<>、 
set<>、string、 stack、queue 都 是 数据 抽象 的 例子 。vector 是 动态 数组 ， 
它 的 主要 操作 有 size()、begin()、end()、push_back() 等 等 ， 这 些 操作 不 
仅 含 义 清 晰 ， 而 且 计 算 复 杂 度 都 是 常数 。 类 似 地 ，list 是 链表 ，map 是 
有 序 关联 数组 ，set 是 有 序 集合 、stack 是 FILO 栈 、gueue 是 FIFO 队 列 。 
“动态 数组 "”、“ 链 表 ”、“ 有 序 集合 "、“ 关 联 数 组 "”、“ 栈 *”、“ 队 列 * 都 是 定 
义 明 确 (操作 、 复 杂 度 ) 的 抽象 数据 类 型 。 


数据 抽象 与 面向 对 象 的 区 别 


本 文 把 data abstraction、object-based、 object-oriented 视 为 三 个 编程 
范式 。 这 种 细致 的 分 类 或 许 有 助 于 理解 区 分 它们 之 间 的 差别 。 

庸俗 地 讲 ， 面 向 对 象 (object-oriented) 有 三 大 特征 : 封装 、 继 
承 、 多 态 。 而 基于 对 象 (object-based) 则 只 有 封装 ， 没 有 继承 和 多 
态 ， 即 只 有 具体 类 ， 没 有 抽象 接口 。 它 们 两 个 都 是 对 象 语义 。 


面向 对 象 真正 核心 的 思想 是 消息 传递 messaging) ，“ 封 装 继承 多 
人 态 ” 只 是 表象 。 关 于 这 一 点 ， 雷 宕 2 和 王 益 都 有 精彩 的 论述 ， 笔 者 不 再 


数据 抽象 与 它们 两 个 的 界限 在 于 “语义 ”， 数 据 抽 象 不 是 对 象 语 
义 ， 而 是 值 语义 。 比 方 说 muduo 里 的 TcpConnection 和 Buffer 都 是 具体 
类 ， 但 前 者 是 基于 对 象 的 (object-based) ， 而 后 者 是 数据 抽象 。 

类 似 地 ，muduo::Date、muduo::Timestamp 都 是 数据 抽象 。 尽 管 这 
两 个 class 简 单 到 只 有 一 个 inVlong 数 据 成 员 ， 但 是 它们 各 自 定 义 了 一 套 
操作 (operation) ， 并 隐藏 了 内 部 数据 ， 从 而 让 它 从 data aggregation 变 
成 了 data abstractiono 

数据 抽象 是 针对 “数据 ”的 ， 这 意味 着 ADT class 应 该 可 以 拷贝 ， 
要 把 数据 复制 一 份 就 行 了 。 如 果 一 个 class 代 表 了 其 他 资源 (文件 、 
工 、 打 印 机 、 账 号 ) ， 那 么 它 通常 就 是 object-based 或 object-oriented， 
而 不 是 数据 抽象 。 

ADT class 可 以 作为 Object-based/object-oriented class 的 成 员 ， 但 反 
过 来 不 成 立 ， 因 为 这 样 一 来 ADS class 的 拷贝 就 失去 意义 了 。 


11.7.6 ”数据 抽象 所 需 的 语言 设施 
不 是 每 个 语言 都 支持 数据 抽象 ， 下 面 简要 列 出 “数据 抽象 "所 需 的 


语言 设施 。 

支持 数据 聚合 ”数据 聚合 即 data aggregation， 或 者 叫 value 
aggregates。 即 定义 C-style struct， 把 有 关 数 据 放 到 同一 个 struct 里 。 
FORTRAN 77 没 有 这 个 能 力 ，FORTRAN 77 无 法 实现 ADT。 这 种 数据 聚 
合 struct 是 ADT 的 基础 ，struct List、struct HashTable 等 能 把 链表 和 哈 希 
表 结 构 的 数据 放 到 一 起 ， 而 不 是 用 几 个 零散 的 变量 来 表示 它 。 

全 局 函数 与 重 载 ”例如 我 定义 了 complex， 那 么 我 可 以 同时 定义 
complex sin(const complex& x) 和 complex exp(const complex& x) 等 等 全 
局 函数 来 实现 复数 的 三 角 函 数 和 指数 运算 。sin0 和 exp(O 不 是 complex 的 
成 员 ， 而 是 全 局 水 数 double sin(double) 和 double exp(double) 的 重 载 。 这 
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样 能 让 double a=sin(b); 和 complex a 二 sin(b); 具 有 相同 的 代码 形式 ， 而 不 
必 写 成 complex a 二 b.sin();。 

C 语 言 可 以 定义 全 局 函数 ， 但 是 不 能 与 已 有 的 函数 重 名 ， 也 就 没有 
重 载 。Java 没 有 全 局 孙 数 ， 而 且 Math class 是 封闭 的 ， 并 不 能 往 其 中 添 
加 sin(Complex)。 

成 员 函 数 与 private 数 据 ”数据 也 可 以 声明 为 private， 防 止 外 界 意 
外 修改 。 不 是 每 个 ADT 都 适合 把 数据 声明 为 private， 例 如 complex、 
Point、pair<> 这 样 的 ADT 使 用 public data 更 加 合理 。 

要 能 够 在 struct 里 定义 操作 ， 而 不 是 只 能 用 全 局 函数 来 操作 struct。 
比方 说 vector 有 push_backO 操 作 ，push_back 是 vector 的 一 部 分 ， 它 必须 
直接 修改 vector 的 private data members， 因 此 无 法 定义 为 全 局 水 数 。 

这 两 点 其 实 就 是 定义 class， 现 在 的 语言 都 能 直接 支持 ，C 语 言 除 
外 。 

拷贝 控制 (copy control) copy control 是 拷贝 stack a; stack b 一 al; 
和 峰值 stack b; b= 二 a; 的 合 称 。 

当 拷贝 一 个 ADT 时 会 发 生 什么 ? 比方 说 拷贝 一 个 stack， 是 不 是 应 
该 把 它 的 每 个 元 素 按 值 拷贝 到 新 stack? 

如 果 语 言 支持 显示 控制 对 象 的 生命 期 (比方 说 C++ 的 确定 性 析 
构 ) ， 而 ADT 用 到 了 动态 分 配 的 内 存 ， 那 么 copy control 更 为 重要 ， 可 
防止 访问 已 经 失效 的 对 象 。 

由 于 C++ class 是 值 语义 ，copy control 是 实现 深 拷贝 的 必要 手段 ， 

而 且 ADT 用 到 的 资源 只 涉及 动态 分 配 的 内 存 ， 所 以 深 拷贝 是 可 行 的 。 
相反 ，object-based 编 程 风 格 中 的 class 往 往 代 表 某 样 真 实 的 事物 
(Employee、Account、File 等 等 ) ， 深 拷贝 无 意义 。 

C 语 言 没 有 copy control， 也 没有 办 法 防止 拷贝 ， 一 切 要 靠 程序 员 自 
己 小 心 在 意 。FILE* 可 以 随意 拷贝 ， 但 是 只 要 关闭 其 中 一 个 copy， 其 他 
copy 也 都 失效 了 ， 跟 空 悬 指针 一 般 。 整 个 C 语 言 对 待 资 源 (malloc() 得 
到 的 内 存 ，open0O 打 开 的 文件 ，socket() 打 开 的 连接 ) 都 是 这 样 的 ， 用 整 
数 或 指针 来 代表 〈 即 “句柄 ”>) 。 而 整数 和 指针 类 型 的 “句柄 ”是 可 以 随意 
拷贝 的 ， 很 容易 就 造成 重复 释放 、 遗 漏 释 放 、 使 用 已 经 释放 的 资源 等 


等 常见 错误 。 这 方面 C++ 是 一 个 显著 的 进步 ， 我 认为 boost::noncopyable 
是 Boost 里 最 值得 推广 的 库 。 

操作 符 重 载 ”如 果 要 写 动 态 数 组 ， 我 们 希望 能 像 使 用 内 置 数 组 一 
样 使 用 它 ， 比 如 支持 下 标 操 作 。C++ 可 以 重 载 operator[] 来 做 到 这 一 点 。 

如 果 要 与 复 数 ， 我 们 希望 能 像 使 用 内 置 的 double 一 样 使 用 它 ， 比 如 
支持 加 减 乘除 。C++ 可 以 重 载 operator+ 等 操作 符 来 做 到 这 一 点 。 

如 果 要 写 日 期 与 时 间 ， 我 们 希望 它 能 直接 用 大 于 或 小 于 号 来 比较 
先后 ， 用 == 来 判断 是 否 相 等 。C++ 可 以 重 载 operator< 等 操作 符 来 做 到 这 
= 

这 要 求 语言 能 重 载 成 员 与 全 局 操作 符 。 操 作 符 重 载 是 C++ 与 生 俱 来 
的 特性 ，1984 年 的 CFront E 就 支持 操作 符 重 载 ， 并 且 提 供 了 一 个 
complex class， 这 个 class 与 目前 标准 库 的 complex<> 在 使 用 上 无 区 别 。 

如 果 没 有 操作 符 重 载 ， 那 么 用 户 定 义 的 ADT 与 内 置 类 型 用 起 来 就 
不 一 样 了 (〈 想 想 有 的 语言 要 区 分 == 和 equals， 代 码 写 起 来 实在 很 累 
级) 。Java 里 有 BigInteger， 但 是 BigInteger 用 起 来 和 普通 int/long 大 不 相 
同 : 


Java code 
public static BigInteger mean(BigInteger x, BigInteger y) { 
BigInteger two = BigInteger .valueOf (2); 
return x.add(y).divide(two); 
J 
public static long mean(long x, long y) { 
return (x + y) / 2; 
Java code 


当然 ， 操 作答 重 载 容易 被 滥用 ， 因 为 这 样 显得 很 “ 酷 "。 我 认为 只 
在 ADT 表 示 一 个 “数值 ”的 时 候 才 适合 重 载 加 减 乘除 ， 其 他 情况 下 用 具 
名 国 数 为 好 ， 因 此 muduo::Timestamp 只 重 载 了 关系 操作 符 ， 没 有 重 载 加 
减 操作 答 。 另 外 一 个 理由 见 812.6“ 采 用 有 利于 版 本 管理 的 代码 格式 ”。 

效率 无 损 “抽象 "不 代表 低 效 。 在 C++ 中 ， 提 高 抽象 的 层次 并 不 
会 降低 效率 。 不 然 的 话 ， 人 们 宁可 在 低层 次 上 编程 ， 而 不 愿 使 用 更 便 


利 的 抽象 ， 数 据 抽象 也 就 失去 了 市 场 。 后 面 我 们 将 看 到 一 个 具体 的 例 
于 。 

模板 与 泛 型 ”如果 我 写 了 一 个 IntVector， 那 么 我 不 想 为 double 和 
string 骨 实现 一 遍 同样 的 代码 。 我 应 该 把 vector 写 成 template， 然 后 用 不 
同 的 类 型 来 具 现 化 它 ， 从 而 得 到 vector<int>、vector<double>、 
vector<complex>、 vector<string> 等 具体 类 型 。 

不 是 每 个 ADT 都 需要 这 种 泛 型 能 力 ， 一 个 Date class 就 没 必要 让 用 
户 指定 该 用 哪 种 类 型 的 整数 ，int32_t 足 够 了 。 

根据 上 面 的 要 求 ， 不 是 每 个 面向 对 象 语言 都 能 原生 支持 数据 抽 
象 ， 也 说 明 数 据 抽象 不 是 面向 对 象 的 子 集 。 


11.7.7 ”数据 抽象 的 例子 


下 面 我 们 看 看 数值 模拟 N-body 问题 的 两 个 程序 ， 前 一 个 是 用 C 语 
言 ， 后 一 个 是 用 C++ 语言 。 这 个 例子 来 自 编程 语言 的 性 能 对 比 网 站 =。 
两 个 程序 使 用 的 算法 相同 。 

C 语 言 版 ， 完 整 代码 见 recipes/puzzle/file nbodyc ， 下 面 是 核心 代 
码 。struct planet 保 存 行星 位 置 、 速 度 、 质 量 ， 位 置 和 速度 各 有 三 个 分 
量 。 程 序 模拟 几 大 行星 在 三 维 空间 中 受 引 力 支配 的 运动 。 

其 中 最 核心 的 算法 是 advance() 遂 数 实现 的 数值 积分 ， 它 根据 各 个 
星球 之 间 的 距离 和 5 引力， 算出 加 速度 ， 再 修正 速度 ， 然 后 更 新 星球 的 
位 置 。 这 个 naive 算 法 的 复杂 度 是 O(N: )。 


Ccode 
struct planet 
{ 
double x, y, Zz; 
double vx, vy, vz; 
double mass; 


天 


void advance(int nbodies, struct planet *bodies，double dt) 
{ 
for (int i = 08; i < nbodies; i++) 
{ 
struct planet xp1 = &(bodies[i]); 
Tor (an 和 了 = + Tr 1 <nbodiess 3++) 
struct planet *p2 = &(bodies[]j]); 
double dx = pl->x - p2->x; 
double dy = pl->y - p2->y; 
double dz = p1->Z - p2->Z; 
double distance_squared = dx x* dx + dy * dy + dz * dz; 
double distance = sqrt(distance_squared); 
double mag = dt / (distance * distance_squared); 
pl->vx -= dx * p2->mass * mag; 
pl->vy -= dy * p2->mass * mag; 
p1->vz -= 大 p2->mass 大 mag; 
p2->vx += dx * pl->mass * mag; 
p2->vy += dy * p1->mass * mag; 
p2->vz += dz * pl->mass * mag; 
} 
} 
for (int i = 6; i < nbodies; i++) 
{ 
struct planet * p = &(bodies[i]); 
p->x += dt * p->Vvx; 
p->y += dt * p->vy; 
p->z += dt * p->vz; 


Ccode 


C++ 数 据 抽象 版 ， 完 整 代码 见 recipes/puzzle/file nbodycc ， 下 面 是 其 
代码 骨架 。 首 先 定义 Vector3 这 个 抽象 ， 代 表 三 维 向 量 ， 它 既 可 以 是 位 
置 ， 又 可 以 是 速度 。 本 处 略 去 了 Vector3 的 操作 符 重 载 (Vector3 支 持 常 
见 的 向 量 加 减 乘 除 运算 ) 。 然 后 定义 Planet 这 个 抽象 ， 代 表 一 个 行星 ， 
它 有 两 个 Vector3 成 员 : 位 置 和 速度 。 需 要 说 明 的 是 ， 按 照 语义 ， 
Vector3 是 数据 抽象 ， 而 Planet 是 object-based。 


C++ C0de 
struct Vector3 


Vector3(double x, double y, double z) 
: Cr MY ZZ2) 
{ } 


double x; 
double y; 
double z; 


> 


struct Planet 
{ 
Planet(const Vector3& position, const Vector3& velocity, double mass) 
: position(position), velocity(velocity), mass(mass) 


LL 


Vector3 position; 
Vector3 velocity; 
const double mass; 
3 
C++ code 


相同 功能 的 advance() 代 码 则 简短 得 多 ， 而 且 更 容易 验证 其 正确 
性 。 (设想 假如 把 C 语 言 版 的 advanceO 中 的 vx、vy、vz、dx、dy、dz 写 
着 位 了 ， 这 种 错误 较 难 发 现 。) 


C++ Code 
void advance(int nbodies, Planet* bodies, double delta_time) 


for (Planet* pl = bodies; pl != bodies + nbodies; ++p1) 


for (Planet* p2 = pl + 1; p2 != bodies + nbodies; ++p2) 

{ 
Vector3 difference = p1->position - p2->position; 
double distance_squared = magnitude_squared(difference); 
double distance = std::sqrt(distance_squared); 
double magnitude = delta_time / (distance * distance_squared); 
p1->velocity -= difference * p2->mass * magnitude; 
p2->velocity += difference * pl->mass * magnitude; 


} 
for (Planet* p = bodies; p != bodies + nbodies; ++p) 
{ 

p->position += delta_time * p->velocity; 
} 


} 
C++ code 


尽管 C++ 使 用 了 更 高 层 的 抽象 Vector3， 但 它 的 性 能 和 C 语 言 一 样 
快 。 看 看 memory layout 就 会 明白 。 

C struct 的 成 员 是 连续 存储 的 ，struct 数 组 也 是 连续 的 ， 如 图 11-10 所 
示 。 


planet: | Xx | y | Z | | vy | VZ |mass 


nm [T3717 [lal pls 7 [sl] - 


po pl 


图 11-10 
尽管 C++ 定 义 了 Vector3 这 个 抽象 ， 但 它 的 内 存 布局 并 没有 改变 
( 见 图 11-11) ，C++ Planet 的 布局 和 C planet 一 模 一 样 ，Planet[] 的 布局 
也 和 C 数 组 一 样 。 


Vector3: Z 


Planet: position Velocity |mass| 
Vector3 Vector3 
Planet[S]: | position | Velocity position Velocity 6 position 
PO Pl | 
图 11-11 


另 一 方面 ，C++ 的 inline 国 数 在 这 里 也 起 了 巨大 作用 ， 我 们 可 以 放 
心地 调用 Vector3::operator+=() 等 操作 答 ， 编 译 器 会 生成 和 C 一 样 高 效 的 
代码 。 

不 是 每 个 编程 语言 都 能 做 到 在 提升 抽象 的 时 候 不 影响 性 能 ， 来 看 
看 Java 的 内 存 布局 。 如 果 我 们 用 class Vector3、class Planet、Planet[] 的 
方式 写 一 个 Java 版 的 N-body 程序 ， 内 存 布局 将 会 是 如 图 11-12 所 示 的 样 
子 。 这 样 大 大 降低 了 memory locality， 有 兴趣 的 读者 可 以 对 比 Java 和 
C++ 的 实现 效率 。 


Vector3: | hdl | wlheadl y | z 


Planet: | hdl -—»head| pos | vel [nass 


head| X y | 国 “让 X | y | Z | 


Planet[5]， | hdl | »| head p0 | pl | p2 | p3 | p4 | 


Ts 
Planet: head| Pos | vel |mass Planet: head| pos | vel |mass 
head| x ly head [lx headllx | ys head =x | 
图 11-12 


注 : 这 里 的 N-body 算法 只 为 比较 语言 之 间 的 性 能 与 编程 的 便利 
性 ; 真正 科研 中 用 到 的 N-body 算法 会 使 用 更 高 级 和 底层 的 优化 ， 复 杂 


度 是 O(N logN)， 在 大 规模 模拟 时 其 运行 速度 也 比 本 naive 算 法 快 得 多 。 
更 多 的 例子 


.Date 与 Timestamp， 这 两 个 class 的 “数据 ”都 是 整数 ， 各 定义 了 一 套 
操作 ， 用 于 表达 日 期 与 时 间 这 两 个 概念 。 

.BigIteger， 它 本 身 就 是 一 个 “ 数 ”。 如 果 用 C++ 实现 BigImteger， 那 
么 阶乘 图 数 写 出 来 十 分 自然 。 下 面 第 二 个 函数 是 Java 语 言 的 版 本 。 


// C++ code 
BigInteger factorial(int n) 


BigInteger result(1) ; 

for (int 1 = 1: 1 <= Nn: ++ti) { 
result *= i; 

} 


return result; 


} 


// Java code 
public static BigInteger factorial(int n) { 
BigInteger result = Biglnteger .ONE; 
for (int i = 1; i <= ni ++i) { 
result = result.multiply(BigInteger .valueOf(i)); 
} 


return result; 
高 精度 运算 库 gmp 有 一 套 高 质量 的 C++ 封装 。 


.图 形 学 中 的 三 维 齐 次 坐标 Vector4 和 对 应 的 4x4 变 换 矩 阵 Matrix4s。 
.金融 领域 中 经 常 成 对 出 现 的 “ 买 入 价 二 卖 出 价 ”， 可 以 封装 为 
BidOffer struct， 这 个 struct 的 成 员 可 以 有 mid0 (中 间 价 ) 、spread() ( 买 

卖 差价 ) 、 加 减 操作 符 等 等 。 


小 结 


数据 抽象 是 C++ 的 重要 抽象 手段 ， 适 合 封装 “数据 *"， 它 的 语义 简 
单 ， 容 易 使 用 。 数 据 抽象 能 简化 代码 书写 ， 减 少 偶然 错误 。 

在 新 写 一 个 class 的 时 候 ， 先 想 清 楚 它 是 值 语义 还 是 对 象 语义 。 一 
般 来 说 ， 一 个 项 目 里 只 有 少量 的 class 是 值 语义 ， 比 如 一 些 snapshot 的 数 
据 ， 而 大 多 数 class 都 是 对 象 语义 。 

如 果 是 对 象 语义 的 class， 那 么 应 该 立刻 继承 boost::noncopyable， 防 
止 编译 器 自动 生成 的 拷贝 构造 沙 数 和 赋值 操作 符 在 无 意 中 破 坏 程序 行 
为 x*。 (比如 防止 有 人 误 将 对 象 语义 的 class 放 入 标准 库容 器 。) 
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第 12 章 C++ 经 验 谈 


我 对 C++ 的 基本 态度 是 “ 练 从 难处 练 ， 用 从 易 处 用 ”， 因 此 本 章 有 几 节 
“负面 ”的 内 容 。 我 坚信 软件 开发 一 定 要 时 刻 注意 减少 不 必要 的 复杂 度 ， 一 
些 花团锦簇 的 招式 玩 不 好 反倒 会 伤 到 自己 。 作 为 应 用 程序 的 开发 者 ， 对 技 
术 的 运用 要 明智 ， 不 要 为 了 解决 难度 系数 为 10 的 问题 而 去 强攻 难度 系数 为 
100 的 问题 ， 这 就 本 末 倒 置 了 。 


12.1 用 异 或 来 交换 变量 是 错误 的 


翻转 一 个 字符 串 ， 例 如 把 "12345" 变 成 "54321"， 这 是 一 个 最 简单 不 过 的 
编码 任务 ， 即 便 是 C 语 言 初学 者 也 能 毫 不 费力 地 写 出 类 似 如 下 的 代码 : 


Version 1 


// 版 本 一 ， 用 中 间 变 量 交换 两 个 数 ， 好 代码 
void reverse_by_swap(char* str, int n) 
{ 

char* begin = str; 

char* end = str+n- 1; 


while (begin < end) 
{ 


char tmp = *begin; 
*begin = xend; 
xend = tmp; 
++begin; 

--end ; 


Version 1 
上 面 这 段 代 码 清晰 ， 直 白 ， 没 有 任何 高 深 的 技巧 。 不 知 从 什么 时 候 开 

始 ， 有 人 “发 明 ” 了 不 使 用 临时 变量 交换 两 个 数 的 办 法 ， 用 关键 词 “ 不 用 临时 

变量 交换 两 个 数 ” 在 Google 上 能 搜 到 很 多 文章 。 下 面 是 一 个 典型 的 实现 : 


Version 2 


// 版 本 二 ， 用 异 或 运算 交换 两 个 数 ， 烂 代码 
void reverse_by_xor(charx str, int n) 


// WARNING: BAD code 
char* begin = str; 
char* end = Str +n- 1; 


while (begin < end) 
{ 


*begin ^= x*end,; 
*end “= xbegin; 
*begin “= x*end,; 
++begin; 

--end ; 


一 


Version 2 


受 一 些 过 时 的 教科 书 的 误导 ， 有 人 认为 程序 里 少 用 一 个 变量 ， 节 省 一 
个 字 节 的 空间 ， 会 让 程序 运行 得 更 快 。 这 是 不 对 的 ， 至 少 在 这 里 不 成 立 : 
1. 这 个 所 谓 的 “技巧 "在 现代 的 机 器 上 只 会 更 慢 (我 甚至 怀疑 它 从 来 就 
不 可 能 比 原 始 办 法 快 ) 。 原 始 办 法 是 两 次 内 存 读 和 写 ， 这 个 “技巧 "是 六 读 
三 写 加 三 次 异 或 (或许 编译 器 可 以 优化 成 两 读 三 写 加 三 次 异 或 ) 。 

2. 同样 也 不 能 节省 内 存 ， 因 为 中 间 变 量 tmp 通 常会 是 寄存 器 ( 稍 后 有 
汇编 代码 供 分 析 ) 。 就 算 它 在 函数 的 局 部 堆栈 (stack) 上 ， 反 正 栈 已 经 开 
在 那儿 了 ， 也 没有 进一步 的 函数 调用 ， 根 本 节约 不 了 一 丁点 内 存 。 

3. 相反 ， 由 于 计算 步骤 较 多 ， 会 使 用 更 多 的 指令 ， 编 译 后 的 机 器 码 长 
度 会 增加 。 (这 不 是 什么 大 问题 ， 短 的 代码 不 一 定 快 ， 后 面 有 另外 一 个 例 
了 于 > 


这 个 技巧 的 意义 完全 在 于 应 付 无 聊 的 面试 ， 所 以 知道 就 行 ， 但 绝对 不 
能 放 在 产品 代码 中 。 我 也 想 不 出 问 这 样 的 面试 题 意义 何在 。 
更 有 其 者 ， 把 其 中 三 句 : 
xbegin “= xend; 
*end “= x*begin; 
xbegin “= xend; 
写成 一 句 : 


xbegin “= xend “= x*xbegin “= xend; // WRONG 


这 更 是 大 有 问题 ， 会 导致 未 定义 的 行为 (undefined behavior) :。 在 
C/C++ 语言 的 一 条 语句 中 ， 一 个 变量 的 值 只 人 允许 改变 一 次 。 ( 像 x 二 x++ 这 种 
代码 都 是 未 定义 行为 ， 因 为 x 有 两 次 写 入 。:) 在 C/C++ 语言 里 没有 哪 条 规则 
保证 这 两 种 写法 是 等 价 的 。 ( 致 语言 律师 : 我 知道 ， 黑 话 叫 序列 点 :， 一 个 
语句 可 能 不 止 一 个 序列 点 ， 请 允许 我 在 这 里 使 用 不 精确 的 表述 。) 

这 不 是 一 个 值得 炫耀 的 技巧 ， 只 会 丑化 、 劣 化 代码 。 

C++ 对 翻转 字符 串 这 个 问题 有 更 简单 的 解法 调用 STL 里 的 
std::reverse() 闵 数 。 有 人 担心 调用 遂 数 会 有 开销 ， 这 种 担心 是 多 余 的 ， 现 在 
的 编译 器 会 把 std::reverse(O 这 种 简单 国 数 自动 内 联展 开 ， 生 成 出 来 的 优化 汇 
编 代 码 和 “版 本 一 ”一 样 快 。 


一 - Version 3 
// 版 本 三 ， 用 std::reverse 颠倒 一 个 区 间 ， 优 质 代码 
void reverse_by_std(char* str, int n) 
{ 
std: :reverse(str, str + n); 
} 
Version 3 


12.1.1 编译 器 会 分 别 生 成 什么 代码 


注意 : 查看 编译 器 生成 的 汇编 代码 固然 是 了 解 程序 行为 的 一 个 重要 手 
段 ， 但 是 千 万 不 要 认为 看 到 的 东西 是 永恒 真理 ， 它 只 是 一 时 一 地 的 真相 。 
将 来 换 了 硬件 平台 或 编译 器 ， 情 况 可 能 会 变化 。 重 要 的 不 是 为 什么 版 本 一 
比 版 本 二 快 ， 而 是 如 何 发 现 这 个 事实 。 不 要 “ 猜 (guess) ”， 要 “ 测 
(benchmark) ”。 
以 g++ 版 本 4.4.1， 编 译 参 数 -O2 -march=core2，x86 Linux 系 统 为 例 。 
版 本 一 ”版 本 一 编译 得 到 的 汇编 代码 是 : 


SE 
movzbl (%edx), %ecx 
movzbl (%eax), %ebx 
movb %bl, (%edx) 
movb %cl, (%eax) 


incl %edx 
decl %eax 
cmpl %eax，%edx 
jb .L3 


我 用 C 语 言 翻译 一 下 : 


register char bl, cil; 
register char* eax; 
register char* edx; 


LS 

cl = xedx; // 读 

bl = xeax; // 读 

xedx = bl; // 瑟 

xeax = CL: // 号 

++edx; 

--eax; 

if (edx < eax) goto L3: 

一 共 两 读 两 写 ， 临 时 变量 没有 使 用 内 存 ， 都 在 寄存 器 里 完成 。 考 虑 指令 级 


并 行 和 cache 的 话 ， 中 间 六 条 语句 估计 能 在 三 四 个 周期 执行 完 。 


a Lg 
movzbl] (%edx), %ecx 
xorb (%eax), %cl 
movb %cl, (%eax) 
xorb (%edx), %cl 
movb %cl, (%edx) 
decl %edx 
xorb %cl, (%eax) 
incl %eax 
cmpl Xedx, %eax 
jb .L9 

C 语 言 翻 译 : 


// 声明 与 前 面 一 样 


cl = xedx; ZY 证 

cl ^= xeax; // 读 ， 异 或 
x CL XA 二 

cl ^= xedx; ”// 读 ， 异 或 
xedx = cl: // 号 

--edx ; 

xeax ^= cl; // 读 、 写 ， 异 或 
+ 二 @©AX: 


if (eax < edx) goto L9; 
一 共 六 读 三 写 三 次 异 或 ， 多 了 两 条 指令 。 指 令 多 不 一 定 就 慢 ， 但 是 这 里 异 
或 版 实测 比 临 时 变量 版 要 慢 许 多 ， 因 为 它 的 每 条 指令 都 用 到 了 前 面 一 条 指 


令 的 计算 结果 ， 没 法 并 行 执行 。 
版 本 三 ”生成 的 代码 与 “版 本 一 ”一 样 快 。 


| 
movzbl (%eax), %ecx 
movzbl (%edx), %ebx 
movb %bl, (%eax) 
movb %cl, (%edx) 
incl %eax 

| 
decl %edx 
cmpl %edx，%eax 
jb :21 


这 告诉 我 们 ， 不 要 想当然 地 优化 ， 也 不 要 低估 编译 器 的 能 力 。 关 于 现 
在 的 编译 器 有 多 聪明 ，Felix von Leitner 有 一 个 不 错 的 介绍 :。 

Bjarne Stroustrup 说 过 : “我 喜欢 优雅 和 高 效 的 代码 。 代 码 逻 辑 应 当 直 截 
了 当 ， 书 缺陷 难以 隐藏 ， 尽 量 减 少 依赖 关系 ， 使 之 便于 维护 ， 以 某 种 全 局 
策略 一 以 贯 之 地 处 理 全 部 出 错 情 况 ; 性 能 调 校 至 接近 最 优 ， 省 得 引诱 别人 
实施 无 原则 的 优化 (unprincipled optimizations) ， 搞 出 一 团 乱 麻 。 整 洁 的 代 
码 只 做 好 一 件 事 。”: 

这 恐怕 就 是 Bjarne 提 及 的 没有 原则 的 优化 ， 甚 至 根本 连 优化 都 不 是 。 代 
码 的 清晰 性 是 首要 的 。 


12.1.2 ”为 什么 短 的 代码 不 一 定 快 


$12.3 将 会 谈 到 负 整 数 的 除法 运算 ， 其 中 引用 了 一 段 把 整数 转 为 字符 串 
的 代码 。 遂 数 反 复 计算 一 个 整数 除 以 10 的 商 和 余数 。 我 原 以 为 编译 器 会 用 
一 条 DIV 除 法 指令 来 算 ， 实 际 生成 的 代码 让 我 大 吃 一 惊 : 


站 
movl $1717986919，%eax 
imull %ebx 


movl %ebx, %eax 
sarl $31, %eax 
sarl $2, %edx 
subl %eax, %edx 
movl %edx, %eax 


leal (%edx,%edx,4), %edx 
addl %edx, %edx 
subl %edx, %ebx 
movl %ebx, %edx 
movl %eax, %ebx 
movzbl (%edi,%edx), %eax 
movb %al, (%esi) 
addl $1, %esi 
testl  %ebx, %ebx 
jne 2 
一 条 DIV 指令 被 替换 成 了 十 来 条 指令 ， 编 译 器 不 是 傻子 ， 必 然 有 原因 。 
这 里 我 不 详细 解释 到 底 是 怎么 算 的 ， 基 本 思路 是 把 除法 转换 为 乘法 ， 用 倒 
数 来 算 。 其 中 出 现 了 一 个 魔 数 1717986919， 转 换 成 十 六 进 制 是 
0x66666667， 等 于 (2” 十 3)/5。 
现代 处 理 器 的 乘法 运算 和 加 减法 一 样 快 ， 比 除法 快 一 个 数量 级 左右 ， 
编译 器 生成 这 样 的 代码 是 有 理由 的 。 十 多 年 前 出 版 的 巨著 《程序 设计 实 
践 》[TPoP] 中 介绍 过 如 何 做 micro benchmarking， 方 法 和 结果 都 值得 一 读 ， 
当然 里 边 的 数据 恐怕 有 点 过 时 了 。 
有 本 奇 书 《Hackers Delight》 (中 译本 《高 效 程 序 的 奥秘 》) ， 展 示 了 
大 量 这 种 速算 技巧 。 其 中 第 10 章 专门 讲 整数 常量 的 除法 。 我 不 会 把 其 中 如 
天 书 般 的 技巧 应 用 到 产品 代码 中 ， 但 是 我 相信 现代 编译 器 的 作者 是 知道 这 
些 技巧 的 ， 他 们 会 合理 地 使 用 这 些 技巧 来 提高 生成 代码 的 质量 。 现 在 已 经 
不 是 那个 懂 点 汇编 就 能 打败 C/C++ 编译 器 的 时 代 了 。 
Mark C. Chu-Carroll 有 一 篇 博客 《The“C is Efficient”Language Fallacy》; 
的 观点 我 非常 赞同 ， 即 用 清晰 的 代码 表达 程序 员 的 意图 ， 让 编译 器 容易 实 
施 优化 。 


a 


Making real applications run really fast is something that's done with the 
help of a compiler. Modern architectures have reached the point where people 


can't code effectively in assembler anymore 一 Switching the order of two 
independent instructions can have a dramatic impact on performance in a modern 
machine, and the constraints that you need to optimize for are just more 
complicated than people can generally deal with. 

So for modern systems, writing an efficient program is sort of a 
partnership . The human needs to careful choose algorithms 一 the machine can't 
possibly do that. And the machine needs to carefully compute instruction 
ordering, pipeline constraints, memory fetch delays, etc. The two together can 
build really fast systems. But the two parts aren't independent: the human needs 
to express the algorithm in a way that allows the compiler to understand it 
well enough to be able to really optimize it. 


最 后 ， 说 说 C++ 模 板 。 假 如 要 编写 一 个 任意 进 制 的 转换 程序 。C 语 言 的 
函数 声明 是 : 
bool convert(charx buf, size_t bufsize, int value，int radix); 

既然 进 制 是 编译 期 常量 ，C++ 可 以 用 带 非 类 型 模板 参数 的 函数 模板 来 实 
现 ， 函 数 的 代码 与 C 相 同 。 


template<int radix> 
bool convert(char* buf, size_t bufsize, int value): 


模板 确实 会 使 代码 膨胀 ， 但 是 这 样 的 膨胀 有 时 候 是 好 事情 ， 编 译 器 能 
针对 不 同 的 常数 生成 快速 算法 。 滥 用 C++ 模板 当然 是 错 的 ， 适 当 使 用 不 会 有 


问题 。 
12.2 ”不 要 重 载 全 局 ::operator new() 


本 文 只 考虑 Linux x86 平 台 ， 服 务 端 开 发 (不 考虑 Windows 的 跨 DLL 内 存 
分 配 释放 问题 ) 。 本 文 假定 读者 知道 ::operator newO 和 ::operator delete() 是 干 
什么 的 ， 与 通常 用 的 new/delete 表 达 式 有 何 区 别 和 联系 ， 这 方面 的 知识 可 参 
考 侯 捷 先生 的 文章 《池内 春秋 》 [jhou02]， 或 者 这 篇 文章 : 
http://www.relisoft.com/book/tech/9new.html 。 

C++ 的 内 存 管理 是 个 老生 常 谈 的 话题 ， 我 在 81.7“ 插 曲 : 系统 地 避免 各 
种 指针 错误 ”中 简单 回顾 了 一 些 常见 的 问题 以 及 在 现代 C++ 中 的 解决 办 法 。 
基本 上 ， 按 现代 C++ 的 手法 (RAII) 来 管理 内 存 ， 你 很 难 遇 到 什么 内 存 方面 
的 错误 。 "没有 错误 ”是 基本 要 求 ， 不 代表 “足够 好 ”。 我 们 常常 会 设法 优化 性 


能 ， 如 果 profiling 表 明 hot spot 在 内 存 分 配 和 释放 上 ， 重 载 全 局 的 ::operator 
new() 和 ::operator delete0 似 乎 是 一 个 一 劳 永 逸 的 好 办 法 (以 下 简写 为 “ 重 
载 ::operator new()”) 。 本 节 试 图 说 明 这 个 办 法 往往 行 不 通 。 


12.2.1 内存 管 理 的 基本 要 求 


如 果 只 考虑 分 配 和 释放 ， 内 存 管 理 基本 要 求 是 “不 重 不 漏 *: 既 不 重复 
delete， 也 不 漏 掉 delete。 也 就 是 说 我 们 常 说 的 new/delete 要 配对 ,“ 配 对 ”不 
仅 是 个 数 相等 ， 还 隐 含 了 new 和 delete 的 调用 本 身 要 匹配 ， 不 要 “东家 借 的 东 
西西 家 还 ”。 例 如 : 


用 系统 默认 的 malloc0 分 配 的 内 存 要 交 给 系统 默认 的 free0 去 释放 。 
.用 系统 默认 的 new 表 达 式 创建 的 对 象 要 交 给 系统 默认 的 delete 表 达 式 去 
析 构 并 释放 。 
用 系统 默认 的 new[] 表 达 式 创建 的 对 象 要 交 给 系统 默认 的 delete[] 表 达 式 
去 析 构 并 释放 。 
:用 系统 默认 的 ::operator new0 分 配 的 内 存 要 交 给 系统 默认 的 ::operator 
delete() 去 释放 。 
.用 placement new 创 建 的 对 象 要 用 placement delete 《为 了 表述 方便 ， 姑 
且 这 么 说 吧 ) 去 析 构 〈 其 实 就 是 直接 调用 析 构 函数 ) 。 
.从 某 个 内 存 池 A 分 配 的 内 存 要 还 给 这 个 内 存 池 。 
.如 果 定 制 new/delete， 那 么 要 按 规 矩 来 。 见 《Effective C++ 中 文 版 (第 3 
版 ) 》[EC3] 第 8 章 “ 定 制 new 和 delete”。 


做 到 以 上 这 些 不 难 ， 是 每 个 C++ 开发 人 员 的 基本 功 。 不 过 ， 如 果 你 想 重 
载 全 局 的 ::operator new()， 事 情 就 麻烦 了 。 


12.2.2” 重 载 ::operator new() 的 理由 
[EC3， 条 款 50] 列 举 了 定制 new/delete 的 几 点 理由 : 


-检测 代码 中 的 内 存 错误 ; 
-优化 性 能 ， 


-获得 内 存 使 用 的 统计 数据 。 


这 些 都 是 正当 的 需求 ， 后 面 我 们 将 会 看 到 ， 不 重 载 ::operator new() 也 能 
达到 同样 的 目的 。 


12.2.3 ”::operator new() 的 两 种 重 载 方式 
1. 不 改变 其 签名 ， 无 缝 直接 替换 系统 原 有 的 版 本 ， 例 如 : 


#include <new> 


void* operator new(size_t size); 
void operator delete(void* p); 
用 这 种 方式 的 重 载 ， 使 用 方 不 需要 包含 任何 特殊 的 头 文 件 ， 也 就 是 说 
不 需要 看 见 这 两 个 国 数 声明 。“ 性 能 优化 ”通常 用 这 种 方式 。 
2. 增加 新 的 参数 ， 调 用 时 也 提供 这 些 额 外 的 参数 ， 例 如 : 
// 此 函数 返回 的 指针 必须 能 被 普通 的 : :operator delete(voidx) 释放 
void* operator new(size_t size, const char* file, int line), 
// 此 函数 只 在 构造 函数 抛 异 常 的 情况 下 才 会 被 调用 
void operator delete(voidx p, const charx file, int line); 
然后 用 的 时 候 是 
Foox p = new (__FILE，__LINE__) Foo; // 这 样 能 跟踪 是 哪个 文件 哪 一 行 代码 分 配 的 内 存 
我 们 也 可 以 用 宏 替 换 new 来 节省 打字 。 用 这 里 的 第 二 种 方式 重 载 ， 使 用 
方 需要 看 到 这 两 个 水 数 声 明 ， 也 就 是 说 要 主动 包含 你 提供 的 头 文 件 。“ 检 测 
内 存 错误 ”和 “统计 内 存 使 用 情况 ”通常 会 用 这 种 方式 重 载 。 当 然 ， 这 不 是 绝 
对 的 。 
在 学 习 C++ 的 阶段 ， 每 个 人 都 可 以 写 个 一 两 百 行 的 程序 来 验证 教科 书 上 
的 说 法 ， 重 载 ::operator newO 在 这 样 的 玩具 程序 里 边 不 会 造成 什么 麻烦 。 
不 过 ， 我 认为 在 现实 的 产品 开发 中 ， 重 载 ::operator new0O 力 是 下 策 ， 我 
们 有 更 简单 、 安 全 的 办 法 来 到 达 以 上 目标 。 


12.2.4 ”现实 的 开发 环境 


作为 C++ 应 用 程序 的 开发 人 员 ， 在 编写 稍 具 规 模 的 程序 时 ， 我 们 通常 会 
到 一 些 library。 我 们 可 以 根据 library 的 提供 方 把 它们 大 致 分 为 这 么 几 大 


用 
类 : 


1. C 语 言 的 标准 库 ， 也 包括 Linux 编 程 环 境 提供 的 glibc 系 列 函 数 。 

2. 第 三 方 的 C 语 言 库 ， 例 如 OpenSSL。 

3. C++ 语言 的 标准 库 ， 主 要 是 STL。 (我 想 没 有 人 在 产品 中 使 用 
iostreampnm? ) 

4. 第 三 方 的 通用 C++ 库 ， 例 如 Boost,.Regex， 或 者 某 款 XML 库 。 

5. 公司 其 他 团队 的 人 开发 的 内 部 基础 C++ 库 ， 比 如 网 络 通 信和 日 志 
基础 设施 。 

6. 本 项 目 组 的 同事 自己 开发 的 针对 本 应 用 的 基础 库 ， 比 如 某 三 维 模型 
的 仿 射 变换 模块 。 


在 使 用 这 些 library 的 时 候 ， 不 可 避免 地 要 在 各 个 library 之 间 交 换 数 据 。 
比方 说 library A 的 输出 作为 library B 的 输入 ， 而 library A 的 输出 本 身 常 常会 用 
到 动态 分 配 的 内 存 (比如 std::vector<double>) 。 

如 果 所 有 的 C++ library 都 用 同一 套 内 存 分 配器 (就 是 系统 默认 的 
new/delete) ， 那 么 内 存 的 释放 就 很 方便 ， 直 接 交 给 delete 去 释放 就 行 。 如 果 
不 是 这 样 ， 那 就 得 时 时 刻 刻 记 住 “这 一 块 内 存 是 属于 哪个 分 配器 的 ， 是 系统 
默认 的 还 是 我 们 定制 的 ， 释 放 的 时 候 不 要 还 错 了 地 方 ”。 

由 于 C 语 言 不 像 C++ 一 样 提供 了 那么 多 的 定制 性 ，C library 通 常 都 会 默 
认 直 接 用 malloc/free 来 分 配 和 释放 内 存 ， 不 存在 上 面 提 到 的 “内 存 还 错 地 方 ” 
问题 。 或 者 有 的 考虑 更 全 面 的 C library 会 让 你 注册 两 个 国 数 ， 用 于 其 内 部 分 
配 和 释放 内 存 ， 这 就 能 完全 掌控 该 library 的 内 存 使 用 。 这 种 依赖 注入 的 方式 
在 C++ 里 变 得 花哨 而 无 用 ， 见 笔者 写 的 《C++ 标 准 库 中 的 allocator 是 多 余 
的 》:。 

但 是 ， 如 果 重 载 了 ::operator newO， 事 情 了 恐怕 就 没有 这 么 简单 了 。 


12.2.5 “ 重 载 ::operator new0 的 困境 


首先 ， 重 载 ::operator new0) 不 会 给 C 语 言 的 库 带 来 任何 及 烦 。 当 然 ， 重 
载 它 得 到 的 三 点 好 处 也 无 法 让 C 语 言 的 库 享受 到 。 以 下 仅 考虑 C++ library 和 
主 程序 。 


规则 1: 绝对 不 能 在 library 里 重 载 ::operator new() 


如 果 你 是 某 个 library 的 作者 ， 你 的 library 要 提供 给 别人 使 用 ， 那 么 你 无 
权重 载 全 局 ::operator new(size_t) (注意 这 是 前 面 提 到 的 第 一 种 重 载 方式 ) ， 
因为 这 非常 具有 侵略 性 : 任何 用 到 你 的 library 的 程序 都 被 迫使 用 了 你 重 载 
的 ::operator new()， 而 别人 很 可 能 不 愿意 这 么 做 。 另 外 ， 如 果 有 两 个 library 
都 试图 重 载 ::operator new(size_t)， 那 么 它们 会 打架 ， 我 估计 会 发 生 
duplicated symbol link error。 (这 还 算是 好 的 ， 如 果 某 个 实现 偷偷 盖 住 了 另 
一 个 实现 ， 会 在 运行 时 发 生 诡异 的 现象 。) 干脆 ， 作 为 library 的 编写 者 ， 大 
家 都 不 要 重 载 ::operator new(size_t) 好 了 。 

那么 第 二 种 重 载 方式 呢 ? 

首先 ，::operator new(size_t size, const char* file, int line) 这 种 方式 得 到 的 
void* 指 针 必 须 同 时 能 被 ::operator delete(void*) 和 ::operator delete(void* p， 
const char* file, int line) 这 两 个 函数 释放 。 这 时 候 你 需要 决定 ， 你 的 ::operator 
new(size_t size, const char* file, int line) 返 回 的 指针 是 不 是 兼容 系统 默认 
的 ::operator delete(void*)。 

如 果 不 兼 容 (也 就 是 说 不 能 用 系统 默认 的 ::operator delete(void*) 来 释放 
内 存 ) ， 那 么 你 得 重 载 ::operator delete(void*)， 让 它 的 行为 与 你 的 ::operator 
new(size_t size, const char* file, int line) 匹 配 。 一 旦 你 决定 重 载 ::operator 
delete(void*)， 那 么 你 必须 重 载 ::operator new(size_t)， 这 就 回 到 了 规则 1: 你 
无 权重 载 全 局 ::operator new(size_t)。 

如 果 选 择 兼 容 系统 默认 的 ::operator delete(void*)， 那 么 你 在 ::operator 
new(size_t size, const char* file, int line) 里 能 做 的 事情 非常 有 限 ， 比 方 说 你 不 
能 额外 动态 分 配 内 存 来 做 house keeping 或 保存 统计 数据 (无 论 显 式 还 是 隐 
式 ) ， 因 为 系统 默认 的 ::operator delete(void*) 不 会 释放 你 额外 分 配 的 内 存 。 

(这 里 隐 式 分 配 内 存 指 的 是 往 std::map<> 这 样 的 容器 里 添加 元 素 。) 看 到 这 
里 ， 估 计 很 多 人 已 经 时 了 ， 但 这 还 没完 。 


其 次 ， 在 library 里 重 载 ::operator new(size_t size, const char* file, int line) 
还 涉及 你 的 重 载 要 不 要 暴露 给 library 的 使 用 者 (其 他 library 或 主 程序 ) 。 这 
里 “暴露 * 有 两 层 意思 : 


1. 包含 你 的 头 文件 的 代码 会 不 会 用 你 重 载 的 ::operator new(0)， 

2. 重 载 之 后 的 ::operator new() 分 配 的 内 存 能 不 能 在 你 的 library 之 外 被 安 
全 地 释放 。 如 果 不 行 ， 那 么 你 是 不 是 要 暴露 某 个 接口 函数 来 让 使 用 者 安全 
地 释放 内 存 ? 或 者 返回 shared_ptr， 利 用 其 “捕获 ” 析 构 动作 (deleter) 的 特 
性 ? (81.10) 


听 上 去 好 像 挺 复杂 ? 这 里 就 不 一 一 展开 讨论 了 。 总 之 ， 作 为 library 的 作 
者 ， 我 建议 你 绝对 不 要 动 “ 重 载 ::operator new()” 的 念头 。 


事实 2: 在 主 程序 里 重 载 ::operator new() 的 作用 不 大 


这 不 是 一 条 规则 ， 而 是 我 试图 说 明 这 么 做 没有 多 大 意义 。 

如 果 用 第 一 种 方式 重 载 全 局 ::operator new(size_t)， 会 影响 本 程序 用 到 的 
所 有 C++ library， 这 么 做 或 许 不 会 有 什么 问题 ， 不 过 我 建议 你 使 用 $12.2.6 介 
绍 的 更 简单 的 “替代 办 法 ”。 

如 果 用 第 二 种 方式 重 载 ::operator new(size_t size, const char* file, int 
line)， 那 么 你 的 行为 是 否 惠 及 本 程序 用 到 的 其 他 C++ library 呢 ? 比方 说 你 要 
不 要 统计 C++ library 中 的 内 存 使 用 情况 ? 如 果 某 个 library 会 返回 它 自己 用 
new 分 配 的 内 存 和 对 象 ， 让 你 用 完 之 后 自己 释放 ， 那 么 是 否 打算 对 错误 释放 
内 存 做 检查 ? 

C++ library 在 代码 组 织 上 有 两 种 形式 : 


1. 以 头 文件 方式 提供 (如 以 STL 和 Boost 为 代表 的 模板 库 ) ; 
2. 以 头 文 件 + 二 进 制 库 文 件 方式 提供 (大 多 数 非 模板 库 以 此 方式 发 
布 ) 。 


对 于 纯 以 头 文件 方式 实现 的 library， 可 以 在 你 的 程序 的 每 个 .cpp 文 件 的 
第 一 行 包 含 重 载 ::operator new0O 的 头 文件 ， 这 样 程 序 里 用 到 的 其 他 C++ 
library 也 会 转 而 使 用 你 的 ::operator new() 来 分 配 内 存 。 当 然 这 是 一 种 相当 有 


侵略 性 的 做 法 ， 如 果 运 气 好 ， 编 译 和 运行 都 没 问题 ; 如 果 运 气 差 一 点 ， 可 
能 会 遇 到 编译 错误 ， 这 其 实 还 不 算 坏 事 ; 如 果 运 气 更 差 一 点 ， 编 译 没 有 错 
误 ， 运 行 的 时 候 时 不 时 地 出 现 非法 访问 ， 导 致 sgment fault; 或 者 在 某 些 情 
况 下 你 定制 的 分 配 策略 与 library 有 冲突 ， 内 存 数据 损坏 ， 出 现 莫 名 其 妙 的 行 
为 。 

对 于 以 库 文件 方式 实现 的 library， 这 么 做 并 不 能 让 其 受 惠 ， 因 为 library 
的 源 文件 已 经 编译 成 了 二 进 制 代 码 ， 它 不 会 调用 你 新 重 载 的 ::operator newo 

( 想 想 看 ， 已 经 编译 的 二 进 制 代码 怎么 可 能 提供 额外 的 new (_ FILE_， 
_TINE_) 参 数 呢 ? ) 更 麻烦 的 是 ， 如 果 某 些 头 文件 有 inline 国 数 ， 还 会 引 
起 诡异 的 “串扰 ”。 即 library 有 的 部 分 用 了 你 的 分 配器 ， 有 的 部 分 用 了 系统 默 
认 的 分 配器 ， 然 后 在 释放 内 存 的 时 候 没有 给 对 地 方 ， 造 成 分 配器 的 数据 结 
构 被 破坏 。 

总 之 ， 第 二 种 重 载 方式 看 似 功 能 更 丰富 ， 但 其 实 与 程序 里 使 用 的 其 他 
C++ library 很 难 无 缝 配合 。 

综 上 ， 对 于 现实 生活 中 的 C++ 项 目 ， 重 载 ::operator new0O 几 乎 没有 用 起 
之 地 ， 因 为 很 难处 理 好 与 程序 所 用 的 C++ library 的 关系 ， 毕 竟 大 多 数 library 
在 设计 的 时 候 没 有 考虑 到 你 会 重 载 ::operator new0) 并 强 塞 给 它 。 

如 果 确 实 需 要 定制 内 存 分 配 ， 该 如 何 办 ? 


12.2.6 ”解决 办 法 : 替换 malloc0) 


很 简单 ， 替 换 malloc()。 如 果 需 要 ， 直 接 从 malloc 层 面 入 手 ， 通 过 
LD_PRELOAD 来 加 载 一 个 .so， 其 中 有 malloc/free 的 替代 实现 (drop-in 
replacement) ， 这 样 能 同时 为 C 和 C++ 代 码 服 务 ， 而 且 避 免 C++ 重 
载 ::operator new() 的 阴暗 角落 。 

对 于 “检测 内 存 错误 ”这 一 用 法 ， 我 们 可 以 用 valgrind、dmalloc、efence 
来 达到 相同 的 目的 ， 专 业 的 除 错 工具 比 自己 “山寨 ”一 个 内 存 检查 器 要 靠 
谱 。 

对 于 “统计 内 存 使 用 数据 *”， 蔡 换 malloc 同 样 能 得 到 足够 的 信息 ， 因 为 我 
们 可 以 用 backtrace0 国 数 来 获得 调用 栈 ， 这 比 new ( FILE ,LINE_) 的 
信息 更 丰富 。 比 方 说 你 通过 分 析 (_FILE_，_LINE_) 发 现 std::string 大 量 分 
配 释放 内 存 ， 有 超出 预期 的 开销 ， 但 是 你 却 不 知道 代码 里 哪 一 部 分 在 反复 


创建 和 销毁 std::string 对 象 ， 因 为 (_FILE_，_LINE_) 只 能 告诉 你 最 内 层 的 
调用 阅 数 。 用 backtrace() 能 找到 真正 的 发 起 调用 者 。 

对 于 “性 能 优化 ”这 一 用 法 ， 我 认为 在 目前 的 多 线程 开发 中 ， 自 己 实现 
一 个 能 打败 系统 默认 的 malloc 的 内 存 分 配器 是 不 现实 的 。 一 个 通用 的 内 存 分 
配器 本 来 就 有 相当 的 难度 ， 为 多 线程 程序 实现 一 个 安全 和 高 效 的 通用 (全 
局 ) 内 存 分 配器 超出 了 一 般 开发 人 员 的 能 力 。 不 如 使 用 现 有 的 针对 多 核 多 
线程 优化 的 malloc， 例 如 Google tcmalloc 和 Intel TBB 里 的 内 存 分 配器 :。 好 在 
这 些 allocator 都 不 是 侵入 式 的 ， 也 无 须 重 载 ::operator new()。 


12.2.7 “为 单独 的 class 重 载 ::operator new(0 有 问题 吗 


与 全 局 ::operator new() 不 同 ，per-class operator new() 和 operator delete () 
9 影响 面 要 小 得 多 ， 它 只 影响 本 class 及 其 派生 类 。 似 乎 重 载 member 
::operator new() 是 可 行 的 。 我 对 此 持 反 对 态度 。 

如 果 一 个 class Node 需 要 重 载 member ::operator new()， 说 明 它 用 到 了 特 
殊 的 内 存 分配 策 略 ， 常 见 的 情况 是 使 用 了 内 存 闻 或 对 象 闻 。 我 宁愿 把 这 一 
事实 明显 地 摆 出 来 ， 而 不 是 改变 new Node 语 句 的 默认 行为 。 具 体 地 说 ， 是 
用 factory 来 创建 对 象 ， 比 如 static Node* Node::createNode() 或 者 static 
Shared_ptr<Node> Node::createNodel()。 

这 可 以 归结 为 最 小 惊讶 原则 : 如 果 我 在 代码 里 读 到 Node* p 王 new 
Node， 我 会 认为 它 在 heap 上 分 配 了 内 存 。 如 果 Node class 重 载 了 member 
::operator new()， 那 么 我 要 事先 仔细 阅读 node.h 才 能 发 现 其 实 这 行 代码 使 用 
了 私有 的 内 存 池 。 为 什么 不 写 得 明确 一 点 呢 ? 写成 Node* p 三 
NodeFactory::createNode()， 那 么 我 能 猜 到 NodeFactory::createNode() 肯 定做 
了 什么 与 new Node 不 一 样 的 事情 ， 免 得 将 来 大 吃 一 惊 。 

The Zen of Python: 说 “explicit is better than implicit”*， 我 深信 不 疑 。 


12.2.8 ”有 必要 自行 定制 内 存 分 配器 吗 


如 果 写 一 个 简单 的 只 能 分 配 固定 大 小 的 allocator， 确 实 很 容易 做 到 比 系 
统 的 malloc 更 快 ， 因 为 每 次 分 配 操作 就 是 移动 一 下 指针 。 但 是 我 认为 普通 程 
序 员 很 难 写 出 可 以 与 libc 的 malloc 相 媲美 的 通用 内 存 分 配器 ， 在 多 核 多 线程 
时 代 更 是 如 此 。 因 为 libc 有 专人 维护 ， 会 不 断 把 适合 新 硬件 体系 结构 的 分 配 


算法 与 策略 整合 进去 。 在 打算 写 自 己 的 内 存 池 之 前 ， 建 议 先 看 一 看 Andrei 
Alexandrescu 在 ACCU 2008 会 议 的 演讲 《Memory Allocation: Either Love it or 
Hate It (Or Think Its Just OK)》2 和 论文 《Reconsidering Custom Memory 
Allocation》 +。 


总 结 


重 载 ::operator new0) 或 许 在 某 些 临时 的 场合 能 应 个 急 ， 但 是 不 应 该 作为 
一 种 策略 来 使 用 。 如 果 需 要 ， 我 们 可 以 从 malloc 层 面 入 手 ， 彻 底 替 换 内 存 分 
配器 。 


12.3” 带 符号 整数 的 除法 与 余数 


最 近 研 究 整数 到 字符 串 的 转换 ， 读 到 了 Matthew Wilson 的 《Efficient 
Integer to String Conversions》 系 列 文 章 2。 他 的 巧妙 之 处 在 于 ， 用 一 个 对 称 
的 digits 数 组 搞定 了 负数 转换 的 边界 条 件 《二进制 补 码 的 正 负 整数 表示 范围 
不 对 称 ) 。 代 码 大 致 如 下 ， 经 过 改写 : 


const charx convert(char buf[], int value) 


区 
static char digits[19] = 
f a 3 Es si 8" 和 ， 夫人 Ca 
“0 | “人 六 人 的 “6 六 交 昌 a 人 > ps 
static const charx zero = digits + 9; // zero 指向 '@' 


// works for -2147483648 .. 2147483647 
int i = value; 
char* p = buf; 
do { 
// lsd - least significant digit 
int lsd = i % 10; // lsd 可 能 小 于 0 
1 Js"10s // 是 向 下 取 整 还 是 向 零 取 整 ? 
*p++ = zero[lsd]; // 下 标 可 能 为 负 
} while (i != 0); 


if (value < 60) { 


p++ = "="; 
} 
x*p = '\0'; 
std: :reverse(buf, p); | 
return p; // p - buf 为 整数 长 度 


这 段 简 短 的 代码 对 32-bit int 的 全 部 取 值 都 是 正确 的 〈 从 -2147483648 到 
2147483647) 。 可 以 视 为 itoa0 的 参考 实现 ， 算 是 面试 的 标准 答案 。 

读 到 这 份 代码 ， 我 的 心中 顿时 升 起 一 个 疑虑 : 《C Traps and Pitfalls》 
第 7.7 节 讲 到 ，C 语 言 中 的 整数 除法 (/) 和 取 模 〈%) 运算 在 操作 数 为 负 的 
时 候 ， 结 果 是 implementation-defined 3。 

也 就 是 说 ， 如 果 m、d 都 是 整数 ， 
int q = m/ d; 
int Fr = m % d; 
那么 C 语 言 只 保证 mm 三 qxd 十 rs。 如果 m、d 当 中 有 负数 ， 那 么 qg 和 和 tr 的 正 负 号 是 
由 实现 决定 的 。 比 如 (-13)J/4=(-3) 或 (C-13)/4=(-4) 都 是 合法 的 。 如 果 采 用 后 一 
种 实现 ， 那 么 这 段 转换 代码 就 错 了 (因为 将 有 (-1)%10 二 9) 。 只 有 商 向 0 取 
整 ， 代 码 才能 正常 工作 。 

为 了 弄 清 这 个 问题 ， 我 研究 了 一 番 。 


12.3.1 ”语言 标准 怎么 说 


C89 ”我 手头 没有 ANSI C89 的 文稿 ， 只 好 求助 于 [K&R]， 此 书 第 41 页 
第 2.5 节 讲 到 “The direction of truncation for / and the sign of the result for % are 
machinedependent for negative operands, ...” 人 确实 是 实现 相关 的 。 为 此 ，C89 专 
门 提供 了 div0 函 数 ， 这 个 函数 算出 的 商 是 向 0 取 整 的 ， 便 于 编写 可 移植 的 程 
序 。 我 得 再 去 查 C++ 标 准 。 

C++98 ”第 5.6.4 节 写 道 : “If the second operand of / or % is zero the 


behavior is undefined; otherwise (a/b)*b 十 a9%ob is equal to a. If both operands are 
nonnegative then the remainder is nonnegative; if not, the Sign of the remainder is 


implementation-defined.>C++ 也 没有 规定 余数 的 正 负 号 (C++03 的 叙述 与 此 
一 模 一 样 ) 。 
不 过 这 里 有 一 个 注脚 ， 提 到 “According to work underway toward the 


revision of ISO C, the preferred algorithm for integer division follows the rules 
defined in the ISO Fortran standard, ISO/IEC 1539:1991, in which the quotient is 


always rounded toward zero.” 即 C 语 言 的 修订 标准 会 采用 和 Fortran 一 样 的 取 整 
算法 。 我 又 去 碍 了 C99 标 准 。 

C99 ”第 6.5.5.6 节 说 “When integers are divided, the result of the / operator 
is the algebraic quotient with any fractional part discarded.” 人 脚注 : This is 
often called“truncation toward zero”.) 

C99 明 确 规定 了 商 是 向 0 取 整 的 ， 也 就 是 意味 着 余数 的 符号 与 被 除数 相 
同 ， 前 面 的 转换 算法 能 正常 工作 。C99 Rationale# 提 到 了 这 个 规定 的 原因 : 
“In Fortran, however the result will always truncate toward zero, and the 


overhead seems to be acceptable to the numeric programming community. 
Therefore, C99 now requires similar behavior, which should facilitate porting of 


code from Fortran to C.” 既 然 Fortran 在 数值 计算 领域 都 做 了 如 此 规定 ， 说 明 开 
销 (如 果 有 的 话 ) 是 可 以 接受 的 。 

C++11 ”标准 第 5.6.4 节 采用 了 与 C99 类 似 的 表述 : “For integral operands 
the/ operator yields the algebraic quotient with any fractional part discarded; 
(This is often called truncation towards zero.)” 可 见 C++ 还 是 尽力 保持 与 C 的 兼 

小 结 : C89 和 C++98 都 留 给 实现 去 决定 ， 而 C99 和 C++11 都 规定 商 向 0 取 
整 ， 这 算是 语言 的 进步 吧 。 


12.3.2 ”C/C++ 编译 器 的 表现 


我 主要 关心 G++ 和 VC++ 这 两 个 编译 器 。 需 要 说 明 的 是 ， 用 代码 案例 来 
探查 编译 器 的 行为 是 靠不住 的 ， 尽 管 前 面 的 代码 在 两 个 编译 器 下 都 能 正常 
工作 。 除 非 在 文档 里 有 明确 表述 ， 否 则 编译 器 可 能 会 随时 更 改 实现 一 一 毕 
竟 我 们 关心 的 就 是 implementation-defined 行 为 。 

G++ 4.4: GCC always follows the C99 requirement that the result of 
division is truncated towards zero. G++ 一 直 遵 循 C99 规 范 ， 商 向 0 取 整 ， 算 法 
能 正常 工作 。 

Visual C++ 2008 £: The sign of the remainder is the same as the sign of the 


dividend. 这 个 说 法 与 商 向 0 取 整 是 等 价 的 ， 算 法 也 能 正常 工作 。 
12.3.3 ”其 他 语言 的 规定 


既然 C89/C++98/C99/C++0x 已 经 很 有 多 样 性 了 ， 索 性 弄 清楚 其 他 语言 是 
怎么 定义 整数 除法 的 。 这 里 只 列 出 笔者 接触 过 的 几 种 常用 语言 。 

Java Java 语言 规范 2 明确 说 “Integer division rounds toward 0”。 另 外 对 
于 int 整 数 除法 溢出 ， 特 别 规定 不 抛 异常 ， 且 -2147483648/-1 三 -2147483648 

(以 及 相应 的 long 版 本 ) 。 

C# ”C# 3.0 语 言 规定 “The division rounds the result towards zero”。 对 
于 溢出 的 情况 ， 规 定 在 checked 上 下 文中 抛 ArithmeticException 异 常 ; 在 
unchecked 上 下 文 里 没有 明确 规定 ， 可 抛 可 不 抛 。( 据 了 解 ，C# 1.0/2.0 可 能 
所 不 同 。 ) 

Python “Python 在 语言 参考 手册 ?的 显著 位 置 标明 ， 商 是 向 负 无 穷 取 
整 。 (Plain or long integer division yields an integer of the same type; the result 
is that of mathematical division with the 'floor' function applied to the result.) 

Ruby ”Ruby 的 语言 手册 没有 明说 ， 不 过 库 的 手册 2 说 明了 也 是 向 负 无 
穷 取 整 。 (The quotient is rounded toward-infinity.) 

Perl ”Perl 语 言 默 认 按 浮 点 数 来 计算 除法 4， 所 以 没有 这 个 问题 。Perl 的 
整数 取 模 运算 规则 与 Python/Ruby 一 致 。 

不 过 要 注意 ，use integer 有 可 能 会 改变 运算 结果 ， 例 如 : 


print: ~10 % 3; :// =>2 
Use integers; 
print -10 % 3; // => -| 

Lua “Lua 缺 省 没有 整数 类 型 ， 除 法 一 律 按 浮 点 数 来 算 ， 因 此 不 涉及 商 
的 取 整 。 

综 上 所 述 ， 在 整数 除法 的 取 整 问题 上 ， 语 言 分 为 两 个 阵营 ， 脚 本 语言 
彼此 是 相似 的 ，C99/C++11/Java/C# 则 属于 另 一 个 阵营 ， 在 移植 代码 时 要 小 \ 
心 。 既 然 Python 和 Ruby 的 官方 解释 器 都 是 用 C 实 现 的 ， 但 是 运算 规则 又 自 成 
一 体 ， 那 么 必定 能 从 代码 中 找到 证 据 。 


12.3.4 ”脚本 语言 解释 器 代码 


Python 的 代码 很 好 读 ， 我 很 快 就 找到 了 2.6.6 版 实现 整数 除法 和 取 模 运算 
的 函数 ij _divmod0O2:。 


565 /* Return type of i_divmod */ 
566 enum divmod_result { 


567 
568 
569 


570 }; 


S71 


DIVMOD_OK, /* Correct result */ 
DIVMOD_OVERFLOW, /* Overflow, try again using longs */ 
DIVMOD_ERROR /* Exception raised */ 


572 static enum divmod_result 
573 i_divmod(register long x, register long y, 


574 
s75 € 
576 
577 
578 
579 
580 
581 
582 
583 
584 
585 
586 
587 
588 
589 
590 
591 
592 
593 
594 
595 
596 
597 
598 
599 
600 
601 
602 
603 
604 
605 
606 
607 
608 
609 
610 } 


long *p_xdivy, long *p_xmody) 
long xdivy, xmody; 


a 

PyErr_SetString(PyExc_ZeroDivisionError, 

"integer division or modulo by zero"); 

return DIVMOD_ERROR; 
} 
/* (-sys.maxint-1)/-1 is the only overflow case. */ 
if (y == -1 && UNARY_NEG_WOULD_OVERFLOW(xy) ) 

return DIVMOD_OVERFLOW; 
xdivy = x / y; 
/* xdivxy can overflow on platforms where x/y gives floor(x/y) 
* for x and y with differing signs. (This is unusual 
behaviour, and C99 prohibits it, but it’s allowed by C89; 
for an example of overflow, take x = LONG_MIN, y = 5 or x = 
LONG_MAX, y = -5.) However, x - xdivy*y is always 
representable as a long, since it lies strictly between 
-abs(y) and abs(y). We add casts to avoid intermediate 
overflow. 


光 将 六 冰冰 


*/ 
xmody = (long)(x - (unsigned long)xdivy * y); 
/* If the signs of x and y differ, and the remainder is non-®, 
* C89 doesn't define whether xdivy is now the floor or the 
* ceiling of the infinitely precise quotient. We want the floor 
* and we have it iff the remainder's sign matches y's. 
*/ 
if (xmody && ((y ^ xmody) < 0) /* i.e. and signs differ */) { 
xmody += y; 
-—xdivy; 
assert(xmody && ((y ^ xmody) >= 0)); 
} 
*p_xdivy = xdivy; 
*p_xmody = xmody; 
return DIVMOD_OK; 


python/tags/r266/0Objects/intobject.c 


? 


pythor/tagsr266/Objects/intobject.c 

注意 到 这 段 代 码 甚 至 考虑 了 -2147483648/-1 在 32-bit 下 会 溢 
况 ， 让 我 大 吃 一 惊 。 宏 定义 UNARY_NEG_WOULD OVERFLOW 和 函数 
int_mul() 前 面 的 注释 也 值得 一 读 。 


出 这 个 特殊 情 


562 


python/tags/r266/0bjects/intobject.c 


/* Integer overflow checking for unary negation: on a 2's-complement 


box, -x overflows iff x is the most negative long. In this case we 
get -x == x. However, -x is undefined (by C) if x /is/ the most 
negative long (it's a signed overflow case), and some compilers care. 
So we cast x to unsigned long first. However, then other compilers 
warn about applying unary minus to an unsigned operand. Hence the 
weird "0-". 


#define UNARY_NEG_WOULD_OVERFLOW(x) \ 
((x) < 0 && (unsigned long)(x) == 0-(unsigned long) (x)) 
python/tags/r266/0bjects/intobject.c 


python/tags/r266/0bjects/intobject.c 
/* 
Integer overflow checking for * is painful: Python tried a couple ways, but 
they didn't work on all platforms, or failed in endcases (a product of 
-sys.maxint-1 has been a particular pain). 


Here's another way: 


The native long product xx*y is either exactly right or *wayx off, being 
just the last n bits of the true product, where n is the number of bits 
in a long (the delivered product is the true product plus ix2x*xn for 
Some integer 1i). 


The native double product (double)x * (double)y is subject to three 
rounding errors: on a sizeof(long)==8 box, each cast to double can lose 
info, and even on a sizeof(long)==4 box, the multiplication can lose info. 
But, unlike the native long product, it's not in *range* trouble: even 
if sizeof (long)==32 (256-bit longs), the product easily fits in the 
dynamic range of a double. So the leading 58 (or so) bits of the double 
product are correct. 


We check these two ways against each other, and declare victory if they're 
approximately the same. Else, because the native long product is the only 
one that can lose catastrophic amounts of information, it's the native long 
product that must have overflowed. 

*/ 


static PyObject * 
int_mul(PyObject *v, PyObject *w) 
{ 


long a, b; 

long longprod; /x* axb in native long arithmetic */ 
double doubled_longprod; /* (double)longprod */ 

double doubleprod; /x* (double)a * (double)b */ 


CONVERT_TO_LONG(v, a); 

CONVERT_TO_LONG(w, b); 

/* casts in the next line avoid undefined behaviour on overflow */ 
longprod = (long)((unsigned long)a * b); 

doubleprod = (double)a * (double)b; 


doubled_longprod = (double)longprod; 


/六 


i 


/六 


*/ 


Fast path for normal case: small multiplicands, and no info 
is lost in either method. */ 

(doubled_longprod == doubleprod) 

return PyInt_FromLong(longprod); 


Somebody somewhere lost info. Close enough, or way off? Note 
that a != 0 and b != 6 (else doubled_longprod == doubleprod == 0). 
The difference either is or isn't significant compared to the 
true value (of which doubleprod is a good approximation). 


const double diff = doubled_longprod - doubleprod; 
const double absdiff = diff >= 0.0 ? diff : -diff; 
const double absprod = doubleprod >= 0.0 ? doubleprod : 
-doubleprod; 
/* absdiff/absprod <= 1/32 iff 
32 * absdiff <= absprod -- 5 good bits is "close enough” */ 
if (32.0 * absdiff <= absprod) 
return PyInt_FromLong(longprod); 
else 
return PyLong_Type.tp_as_number->nb_multiply(v, w); 


python/tags/r266/0bjects/intobject.c 


Ruby 的 代码 要 混乱 一 些 ， 花 点 时 间 还 是 能 找到 的 。 以 下 是 Ruby 1.8.7- 


p334 的 实现 ， 位 于 fixdivmod(O 函 数 。 = 


ruby/tagsv1 8 7_334/numeric.c 


2185 Static void 
2186 fixdivmod(x, y, divp, modp) 


2187 long x, y; 

2188 long *divp, *modp; 

2189 { 

2190 long div, mod; 

2191 

2192 if (y == 0) rb_num_zerodiv(); 
2193 if (y < 0) { 

2194 这 (tx < $) 

2195 div = -x / -y; 
2196 else 

2197 div = = (xX /=y); 
2198 3 

2199 else { 

2200 SC 和 

2201 diy 三 :Ce ys 
2202 else 

2203 div = x /y; 

2204 

2205 mod = x - divxy; 

2206 if ((mod < 0 && y >08) || (md >0 && y < 0)) 
2207 mod += y; 

2208 div -= 1; 

2209 } 

2210 if (divp) *divp = div; 
2211 if (modp) *modp = mod; 
M12 <} 


ruby/tags/v1 8 7_334/numeric.c 


注意 到 Ruby 的 Fixnum 整 数 的 表示 范围 比 机 器 字 长 小 1bit， 直 接 避 免 了 洲 
出 的 可 能 。 


12.3.5 ”硬件 实现 


既然 C/C++ 以 效率 著称 ， 那 么 应 该 是 贴近 硬件 实现 的 。 我 考察 了 几 种 常 
见 的 硬件 平台 ， 它 们 基本 都 支持 C99/C++11 的 语意 ， 也 就 是 说 新 规定 没有 额 
外 开销 。 列 举 如 下 。 (其 实 我 们 只 关心 带 符号 除法 ， 不 过 为 了 完整 性 ， 这 
里 一 并 列 出 unsigned/signed 整 数 除法 指令 。 

Intel x86/x64 ”Intel x86 系 列 的 DIV/IDIV 指 令 明 确 提 到 是 向 0 取 整 ， 与 
C99、C++11、Java、C# 一 致 。 

MIPS ”很 奇怪 ， 我 在 MIPS 的 参考 手册 里 没有 查 到 DIV/DIVU 指 令 的 取 
整 方 向 ， 不 过 根据 Patternson & Hennessy2 的 讲解 ， 似 乎 向 0 取 整 硬件 上 实现 
起 来 比较 容易 。 


ARMUVCortex-M3 ”ARM 没有 硬件 除法 指令 ， 所 以 不 存在 这 个 问题 。 
Cortex-M3 有 硬件 除法 ，SDIV/UDIV 指 令 都 是 向 0 取 整 的 。Cortex-M3 的 除法 
指令 不 能 同时 算出 余数 ， 这 很 特殊 。 

MMIX MMIX 是 Donald Knuth 设 计 的 64-bit CPU， 蔡 换 原 来 的 MIX 机 
器 。DIV 和 DIVU 指 令 都 是 向 负 无 穷 取 整 ， 这 是 我 知道 的 唯一 支持 
Python/Ruby 语 义 的 “硬件 ”平台 。 


总 结 


想不到 小 小 的 整数 除法 都 有 这 么 多 名 堂 。 一 段 只 涉及 整数 运算 的 代 
码 ， 即 便 能 在 各 种 语法 相似 的 语言 里 运行 ， 结 果 也 可 能 完全 不 同 。 把 C 语 言 
里 运行 得 好 好 的 整数 运算 代码 原样 复制 到 Python 里 ， 也 可 能 因为 负数 除法 而 
出 错 。 反 之 亦 然 ， 用 Python 编写 的 原型 代码 移植 到 C/C++ 里 也 可 能 出 现行 为 
异常 ， 不 可 不 察 。 

在 实际 项 目 中 ， 可 以 使 用 特定 的 指令 加 速 ， 人 参见 
http://wm.ite.pl/articles/sse-itoa.html 。 


12.4 ”在 单元 测试 中 mock 系 统 调 用 


本 书 89.7 曾 经 谈 到 单元 测试 在 分 布 式 程序 开发 中 的 优 缺 点 (主要 是 缺 
点 ) 。 但 是 ， 在 某 些 情况 下 ， 单 元 测试 是 很 有 必要 的 ， 在 测试 failure 场 景 的 
时 候 尤 其 重要 ， 比 如 : 


:在 开发 存储 系统 时 ， 模 拟 read(2)/write(2) 返 回 EIO 错 误 (有 可 能 是 磁盘 
写 满 了 ， 也 有 可 能 是 磁盘 出 现 了 坏 道 读 不 出 数据 ) 。 

.在 开发 网 络 库 的 时 候 ， 模 拟 write(2) 返 回 EPIPE 错 误 〈 对 方 意外 断 开 连 
接 ) 。 

.在 开发 网 络 库 的 时 候 ， 模 拟 自 连接 (self-connection) ， 网 络 库 应 该 用 
getsockname(2) 和 getpeername(2) 判 断 是 否 是 自 连接 ， 然 后 断 开 之 。 

.在 开发 网 络 库 的 时 候 ， 模 拟 本 地 ephemeral port 耗 尽 ，connect(2) 返 回 
EAGAIN 临 时 错误 。 


:让 gethostbyname(2) 返 回 我 们 预 设 的 值 ， 防 止 单元 测试 给 公司 的 DNS 
Server 带 来 太 大 压力 。 


这 些 test case 恐 怕 很 难 用 前 文 提 到 的 test harness 来 测试 ， 该 单元 测试 上 
场 了 。 现 在 的 问题 是 ， 如 何 mock 这 些 系统 函数 ? 或 者 换 句 话说 ， 如 何 把 对 
系统 函数 的 依赖 注入 被 测 程序 中 ? 


12.4.1 “系统 函数 的 依赖 注入 


在 《修改 代码 的 艺术 》[WELC] 一 书 第 4.3.2 节 中 ， 作 者 介绍 了 链接 期 接 
缝 〈link seam) ， 正 好 可 以 解决 我 们 的 问题 。 另 外 ， 在 Stack Overflow 的 一 
个 帖子 :里 也 总 结 了 几 种 做 法 。 

如 果 程 序 〈 库 ) 在 编写 的 时 候 就 考虑 了 可 测试 性 ， 那 么 用 不 到 上 面 的 
hack 手 段 ， 我 们 可 以 从 设计 上 解决 依赖 注入 的 问题 。 这 里 提供 两 个 思路 。 

其 一 ”采用 传统 的 面向 对 象 的 手法 ， 借 助 运行 期 的 迟 绑 定 实现 注入 与 
替换 。 自 己 写 一 个 System interface， 把 程序 里 用 到 的 open、close、read、 
Write、 connect、bind、listen、accept、gethosthame、 getpeername、 
getsockname 等 等 函数 统统 用 虚 函 数 封 装 一 层 。 然 后 在 代码 里 不 要 直接 调用 
open()， 而 是 调用 System::instance().open()。 这 样 代 码 主 动 把 控制 权 交 给 了 
System interface， 我 们 可 以 在 这 里 动 动手 脚 。 在 写 单 元 测试 的 时 候 ， 把 这 个 
singleton instance 替 换 为 我 们 的 mock object， 这 样 就 能 模拟 各 种 error code。 

其 二 “采用 编译 期 或 链接 期 的 迟 绑 定 。 注 意 到 在 第 一 种 做 法 中 ， 运 行 
期 多 态 是 不 必要 的 ， 因 为 程序 从 生 到 死 只 会 用 到 一 个 implementation 
object。 为 此 付出 虚 函 数 调用 的 代价 似乎 有 些 不 值 。 (其 实 ， 跟 系统 调用 上 比 
起 来 ， 虚 孙 数 这 点 开销 可 忽略 不 计 。 ) 

我 们 可 以 写 一 个 system namespace 头 文件 ， 在 其 中 声明 read0 和 writeO) 等 
普通 国 数 ， 然 后 在 .cc 文件 里 转发 给 对 应 系统 的 系统 函数 ::read0 和 ::write0) 
等 。 


muduo/net/SocketsOps.h 
namespace sockets 


int connect(int sockfd, const struct sockaddr_in& addr); 


} 


muduo/net/SocketsOps.h 


muduo/net/SocketsOps.cc 
int sockets::connect(int sockfd, const struct sockaddr_in& addr) 


return ::connect(sockfd, sockaddr_cast(&addr), sizeof addr); 


} 


muduo/net/SocketsOps.cc 


有 了 这 么 一 层 间 接 性 ， 就 可 以 在 编写 单元 测试 的 时 候 动 动手 脚 ， 链 接 
我 们 的 stub 实 现 ， 以 达到 替换 实现 的 目的 : 


MockSocketsOps.cc 
int sockets::connect(int sockfd, const struct sockaddr_in& addr) 
{ 
errno = EAGAIN; 
return -1; 
} 
MockSocketsOps.cc 


一 个 C++ 程序 只 能 有 一 个 main0 入 口 ， 所 以 要 先 把 程序 做 成 library， 再 
用 单元 测试 代码 链接 这 个 library。 假 设 有 一 个 mynetcat 程 序 ， 为 了 编写 
C++ 单元 测试 ， 我 们 把 它 拆 成 两 部 分 ， 即 library 和 main(0)， 源 文件 分 别 是 
mynetcat.cc 和 main.cco 

在 编译 普通 程序 的 时 候 : 

g++ main.cc mynetcat.cc SocketsOps.cc -o mynetcat 

在 编译 单元 测试 时 这 么 写 : 

g++ test.cc mynetcat.cec MockSocketsOps.cc -oO test 

以 上 是 最 简单 的 例子 。 在 实际 开发 中 可 以 让 stub 功 能 更 强大 一 些 ， 比 如 
根据 不 同 的 test case 返 回 不 同 的 错误 。 

第 二 种 做 法 无 须 用 到 虚 函 数 ， 代 码 写 起 来 也 比较 简洁 ， 只 用 前 缀 
sockets:: 即 可 。 例 如 在 应 用 程序 的 代码 里 写 sockets::connect(fd, addr)。 

muduo 目 前 还 没有 涉及 系统 调用 的 单元 测试 ， 只 是 预 留 了 这 些 stub。 

namespace 的 好 处 在 于 它 不 是 封闭 的 ， 我 们 可 以 随时 打开 往 里 添加 新 的 
闲 数 ， 而 不 用 改动 原来 的 头 文 件 。 这 也 是 以 non-member non-friend 函 数 为 接 
口 的 优点 。 


以 上 两 种 做 法 还 有 一 个 好 处 ， 即 只 mock 我 们 关心 的 部 分 代码 。 如 果 程 
序 用 到 了 SQLite 或 Berkeley DB 这 些 会 访问 本 地 文件 系统 的 第 三 方 库 ， 那 么 
我 们 的 System interface 或 system namespace 不 会 拦截 这 些 第 三 方 库 的 
open(2)、close(2)、read(2)、write(2) 等 系统 调用 。 


12.4.2 ”链接 期 垫 片 (link seam) 


如 果 程 序 在 一 开始 编码 的 时 候 没 有 考虑 单元 测试 ， 那 么 又 该 如 何 注入 
mock 系 统 调用 呢 ? 

上 面 第 二 种 做 法 已 经 给 出 了 答案 ， 那 就 是 使 用 link seam (链接 期 垫 
片 ) 。 

比方 说 要 仿冒 connect(2) 函 数 ， 那 么 我 们 在 单元 测试 程序 里 实现 一 个 自 
己 的 connect0 图 数 ， 它 遮盖 了 同名 的 系统 孙 数 。 在 链接 的 时 候 ，linker 会 优 
先 采 用 我 们 自己 定义 的 函数 。 (这 对 动态 链接 是 成 立 的 ;如 果 是 静态 链 
接 ， 会 报 multiple definition 错 误 。 好 在 绝 大 多 数 情况 下 libc 是 动态 链接 
的 。) 


一 mockconnect(2) 
typedef int (*connect_func_t)(int sockfd, 

const struct sockaddr x*addr, 

socklen_t addrlen); 


connect_func_t connect_func = dlsym(RTDL_NEXT, "connect"); 


bool mock_connect ; 
int mock_connect_errno; 


// mock connect 

extern “C”int connect(int sockfd, 
const struct sockaddr *addr， 
socklen_t addrlen) 


if (mock_connect) { 
errno = mock_connect_errno; 


return errno == 0 ?3 0 : -1; 
} else { 

return connect_func(sockfd, addr, addrlen); 
} 


} 


mock connect(2) 


如 果 程 序 真 的 要 调用 connect(2) 怎 么 办 ? 在 我 们 自己 的 mockconnect(2) 里 
不 能 再 调用 connect0) 了 ， 否 则 会 出 现 无 限 递归 。 为 了 防止 这 种 情况 ， 我 们 用 
dlsym(RITDL_NEXT"connect) 获 得 connect(2) 系 统 了 图 数 的 真实 地 址 ， 然 后 通 
过 函数 指针 connect_func 来 调用 它 。 


例子 : ZooKeeper 的 C client library 


ZooKeeper 的 C client library 正 是 采用 了 link seams 来 编写 单元 测试 ， 代 码 
见 : 


http://svn.apache.org/repos/ast/zookeeper/tags/release-3.3.3/src/c/tests/LibCMocks.h 


http://svn.apache.org/repos/ast/zookeeper/tags/release-3.3.3/src/c/tests/LibCMocks.cc 
其 他 做 法 

Stack Overflow 的 帖子 里 还 提 到 了 一 个 做 法 ， 可 以 方便 地 替换 动态 库 里 
的 函数 ， 即 使 用 ld() 的 --wrap 人 参数 ， 文 档 里 说 得 很 清楚 ， 这 里 不 再 歼 述 
第 三 方 C++ 库 


Link seam 同 样 适用 于 第 三 方 C++ 库 
比方 说 公司 的 某 个 基础 库 团 队 提供 了 File class， 但 是 这 个 class 没 有 使 用 
虚 函 数 ， 我 们 无 法 通过 sub-classing 的 办 法 来 实现 mock object。 


File.h 
class File : boost::noncopyable 
{ 
public: 
File(const charx*x filename); 
~File(); 


int readn(void* data, int len); 
int writen(const voidx data, int len); 
size_t getSize() const; 
private: 
3 
File.h 


如 果 需 要 为 用 到 File class 的 程序 编写 单元 测试 ， 那 么 我 们 可 以 自己 定义 
其 成 员 函 数 的 实现 ， 这 样 可 以 注入 任何 我 们 想 要 的 结果 。 


MockFile.cc 
int File::readn(void* data, int len) 


return -1; 
MockFile.cc 


这 个 做 法 对 动态 库 是 可 行 的 ， 但 对 于 静态 库 则 会 报错 。 我 们 要 么 让 对 
方 提供 专 供 单元 测试 的 动态 库 ， 要 么 拿 过 源码 来 自己 编译 一 个 。 


Java 也 有 类 似 的 做 法 ， 在 class path 里 蔡 换 我 们 自己 的 stub jar 文 件 ， 以 实 
现 link seam。 不 过 Java 有 很 强 的 反射 机 制 ， 很 少 用 得 着 link seam 来 实现 依赖 
注入 。 


12.5” 慎 用 匿名 namespace 


匿名 namespace (anonymous namespace 或 称 unnamed namespace) 是 
C++ 语言 的 一 项 非常 有 用 的 功能 ， 其 主要 目的 是 让 该 namespace 中 的 成 员 
变量 或 函数 ) 具有 独一无二 的 全 局 名 称 ， 避 免 名 字 碰 撞 (name 
collisions) 。 一 般 在 编写 .cpp 文 件 时 ， 如 果 需 要 写 一 些小 的 helper 了 图 数 ， 我 
们 常常 会 放 到 匿名 namespace 里 。muduo 0.1.7 中 的 muduo/base/Date.cc 和 
muduo/base/Thread.cc 等 处 就 用 到 了 匿名 namespace。 
我 最 近 在 工作 中 遇 到 并 重新 思考 了 这 一 问题 ， 发 现 匿 名 namespace 并 不 


是 多 多 益 善 
12.5.1 _C 语 言 的 static 关 键 字 的 两 种 用 法 


C 语 言 的 static 关 键 字 有 两 种 用 途 : 

第 1 种 ”用 于 函数 内 部 修饰 变量 ， 即 函数 内 的 静态 变量 。 这 种 变量 的 生 
存 期 长 于 该 遂 数 ， 使 得 遂 数 具有 一 定 的 “状态 ”"。 使 用 静态 变量 的 遂 数 一 般 
是 不 可 重 入 的 ， 也 不 是 线程 安全 的 ， 比 如 strtok(3)。 

第 2 种 ”用 在 文件 级 别 (函数 体 之 外 ) ， 修 饰 变 量 或 函数 ， 表 示 该 变量 
或 函数 只 在 本 文件 可 见 ， 其 他 文件 看 不 到 、 也 访问 不 到 该 变量 或 函数 。 专 
业 的 说 法 叫 * 具 有 internal linkage” ( 简 言 之 : 不 暴露 给 别 的 translation 
unit) 。 


C 语 言 的 这 两 种 用 法 很 明确 ， 一 般 也 不 容易 混淆 。 
12.5.2 ”C++ 语言 的 static 关 键 字 的 四 种 用 法 


由 于 C++ 引入 了 class， 在 保持 与 C 语 言 兼 容 的 同时 ，static 关 键 字 又 有 了 
两 种 新 用 法 : 


第 3 种 ”用 于 修饰 class 的 数据 成 员 ， 即 所 谓 * 静 态 成 员 ”。 这 种 数据 成 员 
的 生存 期 大 于 class 的 对 象 (实体 instance) 。 静 态 数 据 成 员 是 每 个 class 有 
一 份 ， 普 通 数据 成 员 是 每 个 instance 有 一 份 ， 因 此 也 分 别 叫做 class variable 和 
instance variableo 

第 4 种 ”用 于 修饰 class 的 成 员 函 数 ， 即 所 谓 * 静 态 成 员 函 数 "。 这 种 成 员 
函数 只 能 访问 class variable 和 其 他 静态 程序 函数 ， 不 能 访问 instance variable 
或 instance method。 

当然 ， 这 几 种 用 法 可 以 相互 组 合 ， 比 如 C++ 的 成 员 函 数 (无 论 static 还 
是 instance) 都 可 以 有 其 局 部 的 静态 变量 (上 面 的 用 法 1) 。 对 于 class 
template 和 function template， 其 中 的 static 对 象 的 真正 个 数 跟 template 
instantiation (模板 具 现 化 ) 有 关 ， 相 信和 学 过 C++ 模板 的 人 不 会 阳 生 。 

可 见 在 C++ 里 static 被 overload 了 多 次 。 匿 名 namespace 的 引入 是 为 了 减轻 
static 的 负担 ， 它 替换 了 static 的 第 2 种 用 途 。 也 就 是 说 ， 在 C++ 里 不 必 使 用 文 
件 级 的 static 关 键 字 ， 我 们 可 以 用 匿名 namespace 达 到 相同 的 效果 。 (其 实 严 
格 地 说 ，linkage 或 许 稍 有 不 同 ， 这 里 不 展开 讨论 了 。) 


12.5.3 ”匿名 namespace 的 不 利之 处 
在 工程 实践 中 ， 匿 名 namespace 有 两 大 不 利之 处 : 


1. 匿名 namespace 中 的 了 国 数 是 “匿名 ”的 ， 那 么 在 确实 需要 引用 它 的 时 候 
就 比较 麻烦 。 

比如 在 调试 的 时 候 不 便 给 其 中 的 函数 设 断 点 ， 如 果 你 像 我 一 样 使 用 的 
是 gdb 这 样 的 文本 模式 debugger; 又 比如 profiler 的 输出 结果 也 不 容易 判别 到 
底 是 哪个 文件 中 的 calculateO 国 数 需要 优化 。 

2. 使 用 某 些 版 本 的 g++ 时 ， 同 一 个 文件 每 次 编译 出 来 的 二 进 制 文件 会 
变化 。 

比如 说 拿 到 一 个 会 发 生 core dump 的 二 进 制 可 执行 文件 ， 无 法 确定 它 是 
由 哪个 revision 的 代码 编译 出 来 的 。 毕 竟 编 译 结果 不 可 复 现 ， 具 有 一 定 的 随 
机 性 。 (当然 ， 在 正式 场合 ， 这 应 该 由 软件 配置 管理 (SCM) 流程 来 解 
决 。) 


另外 这 也 可 能 让 某 些 build tool 失 灵 ， 如 果 该 工具 用 到 了 编译 出 来 的 二 进 
制 文件 的 MD5 的 话 。 


考虑 下 面 这 段 简短 的 代码 : 


一 an0n(C 
namespace 


void foo() 
{ 
} 


int main() 


foo(); 
} 


EGGE 

对 于 问题 1: gdb 的 <tab> 键 自动 补 全 功能 能 帮 有 我 们 设 定 断 点 ， 不 是 什 
么 大 问题 。 前 提 是 你 知道 那个 “(anonymous namespace)::foo()”* 正 是 你 想 要 的 
孙 数 。 


$ gdb ./a.out 
GNU gdb (GDB) 7.0.1-debian 


(gdb) b “<tab> 


(anonymous namespace) __data_start _end 
(Canonymous namespace)::foo() __do_global_ctors_aux _fini 
_DYNAMIC __do_global_dtors_aux NIE 
_GLOBAL_OFFSET_TABLE_ __dso_handle _start 
_IO_stdin_used __gXxx_personality_v0 anon.cc 
__CTOR_END__ __gXxx_personality_voGplt call_gmon_start 
TORAGLST:. __init_array_end completed.6341 
__DTOR_END__ __init_array_start data_start 

= DTOR ELS Te =2liboacsu Fini dtor_idx.6343 
__FRAME_END__ __libc_csu_init foo 
__JCR_END__ __libc_start_main frame_dummy 
oR Eo __libc_start_main@plt int 
__bss_start _edata main 


(gdb) b “(<tab> 
anonymous namespace) anonymous namespace)::foo() 


(gdb) b ‘(anonymous namespace)::foo()’ 
Breakpoint 1 at 0x400588: file anon.cc, line 4. 


厅 烦 的 是 ， 如 果 两 个 文件 anon.cc 和 anonlib.cc 都 定义 了 匿名 空间 中 的 
foo0 函 数 (这 不 会 冲突 ) ， 那 么 gdb 无 法 区 分 这 两 个 图 数 ， 你 只 能 给 其 中 一 


个 设 断 点 。 或 者 你 使 用 文件 名 : 行 号 的 方式 来 分 别 设 断 点 。 (从 技术 上 说 ， 
人 数 是 weak text， 链 接 的 时 候 如 果 发 生 符 号 重 名 ，linker 
不 会 报错 。 

从 根本 上 解决 的 办 法 是 使 用 普通 具名 namespace， 如 果 怕 重 名 ， 可 以 把 
源 文件 名 (必要 时 加 上 路 径 ) 作为 namespace 名 字 的 一 部 分 。 
对 于 问题 2: ”把 anon.cc 编 译 两 次 ， 分 别 生成 aout 和 b.out: 


$ g++ --version 
g++ (GCC) 4.2.4 (Ubuntu 4.2.4-1ubuntu4) 


$ g++ -g -0 a.0out anon.cc 

$ g++ -g -0 b.out anon.cc 

$ md5sum a.out b.out 
of7a9cc15af7ab1le57af17ba1l6afcd70 a.out 
8f22fc2bbfc27beb922aefa97d174e3b b.out 


$ diff -u <(nm a.out) <(nm b.out) 

--- /dev/fd/63 2011-02-15 22:27:58.960754999 +0800 
+++ /dev/fd/62 2011-02-15 22:27:58.960754999 +0800 

@@ -2,7 +2,7 @@ 
0000000000600940 
0000000000400634 


d _GLOBAL_OFFSET_TABLE_ 

R _IO_stdin_used 

W _Jv_RegisterClasses 

-0000000000400538 七 _ZN36_GLOBAL__N_anon.cc_00000000_E2CEEB513fooEv 
t 
d 
d 


+0000000000400538 t _ZN36_GLOBAL__N_anon.cc_00000000_CB51498D3fooEv 
0000000000600748 d __CTOR_END__ 
0000000000600746 d __CTOR_LIST__ 


0000000000600758 d __DTOR_END__ 


由 上 可 见 ，g++ 4.2.4 会 随机 地 给 匿名 namespace 生 成 一 个 唯一 的 名 字 
(foo0 函 数 的 mangled name 中 的 E2CEEB51 和 CB51498D 是 随机 的 ) ， 以 保 
证 名 字 不 冲突 。 也 就 是 说 ， 同 样 的 源 文件 ， 两 次 编译 得 到 的 二 进 制 文 件 内 
容 不 相同 ， 这 有 时 候 会 造成 问题 或 困惑 。 

这 可 以 用 gcc 的 -frandom-seed 参 数 解 决 ， 具 体 见 gcc 文 档 。 

这 个 现象 在 gcc 4.2.4 中 存在 (之 前 的 版 本 估计 类 似 ) ， 在 gcc 4.4.5 中 不 
存在 。 


12.5.4 ”替代 办 法 


如 果 前 面 的 “不 利之 处 ”给 你 带 来 了 困扰 ， 解 决 办 法 也 很 简单 ， 就 是 使 
用 普通 具名 namespace。 当然， 要 起 一 个 好 的 名 字 ， 上 比如 Boost 里 就 常常 用 
boost::detail 来 放 那 些 “ 不 应 该 暴露 给 客户 ， 但 又 不 得 不 放 到 头 文 件 里 ”的 函数 
或 class。 

总 而 言 之 ， 匿 名 namespace 没 什么 大 问题 ， 使 用 它 也 不 是 什么 过 错 。 万 
一 它 碍 事 了 ， 可 以 用 普通 具名 namespace 替 代 之 。 


12.6 ”采用 有 利于 版 本 管理 的 代码 格式 


版 本 管理 (version controlling) 是 每 个 程序 员 的 基本 技能 ，C++ 程 序 员 
也 不 例外 。 版 本 管理 的 基本 功能 之 一 是 追踪 代码 变化 ， 让 你 能 清楚 地 知道 
代码 是 如 何 一 步 步 变 成 现在 的 这 个 样子 的 ， 以 及 每 次 check-in 都 具体 改动 了 
哪些 内 部 。 无 论 是 传统 的 集中 式 版 本 管理 工具 ， 如 Subversion， 还 是 新 型 的 
分 布 式 管理 工具 ， 如 GiVvHg， 比 较 两 个 版 本 (revision) 的 差异 都 是 其 基本 
功能 ， 即 俗称 “做 一 下 diff”。 

diff 的 输出 是 个 窜 孔 (peephole) ， 它 的 上 下 文 有 限 (diff -u 默 认 显示 前 
后 3 行 ) 。 在 做 code review 的 时 候 ， 如 果 仅 赁 这 “一 孔 之 见 ?就 能 发 现代 码 改 
动 有 问题 ， 那 就 再 好 也 不 过 了 。 

C 和 C++ 都 是 自由 格式 的 语言 ， 代 码 中 的 换行 符 被 当做 white space 来 对 
待 。 (当然 ， 我 们 说 的 是 预 处 理 (preprocess) 之 后 的 情况 ) 。 对 编译 器 来 
说 一 模 一 样 的 代码 可 以 有 多 种 写法 ， 比 如 
fol 2 3 
和 
foo(1 ， 

2 

3 

4): 
词法 分 析 的 结果 是 一 样 的 ， 语 意 也 完全 一 样 。 

对 人 来 说 ， 这 两 种 写法 读 起 来 不 一 样 ， 对 于 版 本 管理 工具 来 说 ， 同 样 
功能 的 修改 造成 的 差异 (diff) 也 往往 不 一 样 。 所 谓 “ 有 利于 版 本 管理 *， 就 
是 指 在 代码 中 合理 使 用 换行 符 ， 对 diff 工 具 友 好 ， 让 diff 的 结果 清晰 明了 地 表 


达 代 码 的 改动 。diff 一 般 以 行为 单位 ， 也 可 以 以 单词 为 单位 ， 本 文 只 考虑 最 
常见 的 逐 行 比较 (diff by lines) 。 


12.6.1 对 diff 友 好 的 代码 格式 
多 行 注释 也 用 ///， 不 用 /* *// 


Scott Meyers 写 的 《Effective C++ (第 2 版 )》 第 4 条 建议 使 用 C++ 风 格 ， 
我 这 里 为 他 补充 一 条 理由 : 对 diff 友 好 。 比 如， 我 要 注释 一 大 段 代 码 (其 实 
这 不 是 个 好 的 做 法 ， 但 是 在 实践 中 有 时 会 遇 到 ) ， 如 果 用 /* */， 那 么 得 到 的 
diff 是 : 
--- a/examples/asio/tutorial/timer5/timer.cc 
+++ b/examples/asio/tutorial/timerS/timer.cc 


@@ -18,6 +18,7 @@ class Printer : boost::noncopyable 
. 


+ /大 
~Printer() 


{ 
Ge -38,6 +39,7 @@ class Printer : boost::noncopyable 
} 
3 


+ */ 


void print2() 
{ 


从 这 样 的 diff output 能 看 出 注释 了 哪些 代码 吗 ? 
如 果 用 //， 结 果 会 清晰 很 多 : 


--- a/examples/asio/tutorial/timerS5/timer.cc 

+++ b/examples/asio/tutorial/timerS/timer.cc 

@@ -18,26 +18,26 @@ class Printer : boost::noncopyable 
loop2_->runAfter(1, boost::bind(&Printer::print2, this)); 


} 
- ~Printer() 
= 
= stdsseout < Final count lis ”< Count., eM: 
ci 
+ // ~Printer() 
> 
+ // std::cout << "Final count is ”<< count_ << "\n"; 
A 


- void print1() 


= muduo: :MutexLockGuard lock(mutex_); 
if (count_ < 10) 


四 { 
SEE <e “Tinmer la Sr wount. < "MW 
一 ++COunt_; 
- loopl1_->runAfter(1, boost::bind(&Printer::print1, this)); 
下 
else 
> { 
= loop1_->quit(); 
天 直 
} 


// void print1() 

WA 

// muduo::MutexLockGuard lock(mutex_); 

a Er (teountss 10 

名 

A std::cout << "Timer 1: ”<< count_ << "\n",; 
£4 ++COUNt_; 


// loopl1_->runAfter(1, boost::bind(&Printer::print1, this)); 
// } 

// else 

Fo 三 

// loopl1_->quit(); 


十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 
Ep 
Su 


void print2() 


同样 的 道理 ， 取 消 注释 的 时 候 // 也 比 /* ”更 清晰 。 


另外 ， 如 果 用 /* */ 来 做 多 行 注释 ， 从 diff 不 一 定 能 看 出 来 你 是 在 修改 代 
码 还 是 修改 注释 。 比 如 以 下 diff 似 乎 修改 了 muduo::EventLoop::runAfter() 的 调 
用 参数 : 
--- a/examples/asio/tutorial/timer5/timer.cc 
+++ b/examples/asio/tutorial/timer5/timer.cc 
Ge -32,7 +32,7 @@ class Printer : boost::noncopyable 


std::cout << "Timer 1: ”<< count_ << std::endl; 
二 上 COUnLEE， 


w loopl_->runAfter(W, boost::bind(&Printer: :print1, this)); 
+ loopl1_->runAfter(2, boost::bind(&Printer: :print1, this)); 
} 


else 


{ 
其 实 这 个 修改 发 生 在 注释 中 (要 增加 上 下 文才 能 看 到 ，diff -U 20， 多 
一 道 手 续 ， 降 低 了 工作 效率 ) ， 对 代码 行为 没有 影响 : 


--- a/examples/asio/tutorial/timerS5/timer.cc 
+++ b/examples/asio/tutorial/timerS/timer.cc 
Ge -20,31 +20,31 @@ class Printer : boost::noncopyable 


/* 
~Printer() 
{ 


std::ceout <<: "Final count as ” << count. «<< std:sendl: 


} 
void print1() 


muduo: :MutexLockGuard lock(mutex._); 

if (count_ < 10) 

{ 
SG KS "TIiner Tz “ex eont. < stdvendi: 
++COUNt._; 


loopl1_->runAfter(1, boost::bind(&Printer: :print1, this)):; 


+ loopl1_->runAfter(2, boost::bind(&Printer::print1, this)); 
} 
else 
攻 
loopl1_->quit(); 

} 

} 

*/ 


void print2() 


muduo: :MutexLockGuard lock(mutex._); 
if (count_ < 10) 
{ 


St couUt ee Tier 2 “xe courlt. <= Stds<endls 
++COUNt_; 


总 之 ， 不 要 用 /* sj 来 注释 多 行 代码 。 
或 许 是 时 过 境 迁 了 ， 大 家 都 在 用 /注释 了 ， 《Ettective C++ (第 3 版 ) 》 
去 掉 了 这 一 条 建议 。 


局 部 变量 与 成 员 变量 的 定义 
基本 原则 是 ， 一 行 代码 只 定义 一 个 变量 ， 比 如 


double X; 
double y; 


将 来 代码 增加 一 个 double z 的 时 候 ，diff 输 出 一 眼 就 能 看 出 改 了 什么 : 


@@ -63,6 +63,7 @@ private: 
int count_; 
double x:; 
double y; 

+ double z; 


» 
int main() 


如 果 把 x 和 y 写 在 一 行 ，dift 的 输出 就 得 多 看 几 眼 才 知道 : 


@@ -61,7 +61,7 @@ private: 
muduo: :net::EventLoop* loopl_; 
muduo: :net::EventLoop* loop2._; 


int count_; 
- double x, y; 
double Xx Vy 2: 
3 
int main() 


所 以 ， 一行 只 定义 一 个 变量 更 利于 版 本 管理 。 同 样 的 道理 适用 于 enum 
成 员 的 定义 、 数 组 的 初始 化 列表 等 。 


疯 数 声明 中 的 参数 


如 果 函 数 的 参数 大 于 3 个 ， 那 么 在 逗号 后 面 换行 ， 这 样 每 个 参数 占 一 
行 ， 便 于 diff。 以 muduo::net::TcpClient 为 例 : 


muduo/net/TcpClient.h 
class TcpClient : boost::noncopyable 
{ 
public: 
TcpClient(EventLoop* loop, 
const InetAddress& serverAddr, 
const string& name); 
muduo/net/TcpClient.h 


如 果 将 来 TcpClient 的 构造 水 数 增加 或 修改 一 个 参数 ， 那 么 很 容易 从 diff 
看 出 来 。 这 恐怕 比 在 一 行 长 代码 里 数 召 号 要 高 效 一 些 。 


疯 数 调用 时 的 参数 


在 了 图 数 调用 的 时 候 ， 如 果 参 数 大 于 3 个 ， 那 么 把 实 参 分 行 写 。 
以 muduo::net::EPollPoller 为 例 : 


muduo/net/poller/EPollPoller.cc 
Timestamp EPollPoller::poll(int timeoutMs, ChannelList* activeChannels) 


{ 
int numEvents = ::epoll_ wait(epollfd._, 
&xevents_.begin() ， 
static_cast<int>(events_.size()), 
timeoutMs ) ; 
Timestamp now(Timestamp: :now()); 


muduo/net/poller/EPollPoller.cc 


这 样 一 来 ， 如 果 将 来 重 构 引 入 了 一 个 新 参数 (当然 ，epoll_wait 不 会 有 这 个 
问题 ， 那 么 函数 定义 和 函数 调用 的 地 方 的 diff 具 有 相同 的 形式 (比方 说 都 
是 在 倒数 第 二 行 加 了 一 行内 容 ) ， 很 容易 肉眼 验证 有 没有 错位 。 如 果 参 数 
写 在 一 行 里 边 ， 就 得 睁 大 眼睛 数 逗 号 了 。 


class 初 始 化 列表 的 写法 


同样 的 道理 ，class 初 始 化 列表 (initializer list) 也 遵循 一 行 一 个 的 原 
则 ， 这 样 将 来 如 果 加 入 新 的 成 员 变 量 ， 那 么 两 处 《class 定义 和 ctor 定 义 ) 的 
diff 具 有 相同 的 形式 ， 让 错误 无 所 通 形 。 以 muduo::net::Buffer 为 例 : 


muduo/net/Buffer.h 


class Buffer : public muduo::copyable 


public: 
static const Size_t kCheapPrepend = 8; 
static const Size_t kInitialSize = 1024; 


Buffer() 
: buffer_(kCheapPrepend + kInitialSize), 
readerIndex_(kCheapPrepend), 
writerIndex_(kCheapPrepend) 


{ 了 
// 省 略 

private: 
std: :Vector<char> buffer_; 
size_t readerIndex_; 
size_t writerIndex_; 


站 
muduo/net/Buffer.h 


注意 ， 初 始 化 列表 的 顺序 必须 和 数据 成 员 声 明 的 顺序 相同 。 
与 namespace 有 关 的 缩 进 


Google 的 C++ 编程 规范 明确 指出 ，namespace 不 增加 缩 进 4。 这 么 做 非常 
有 道理 ， 方 便 diff -p 把 函数 名 显示 在 每 个 diff chunk 的 头 上 。 

如 果 对 函数 实现 做 diff，chunk name 是 函数 名 ， 让 人 一 眼 就 能 看 出 改 的 
是 哪个 函数 ， 如 下 面 所 示 的 灰 底 部 分 。 


diff --git a/muduo/net/SocketsOps.cc b/muduo/net/SocketsOps.cc 
--- a/muduo/net/SocketsOps.cc 
+++ b/muduo/net/SocketsOps.cc 
Ge -125,7 +125,7 @@ int sockets: aceceptCint sockfd, struet sockaddr in* addr) 
case ENOTSOCK : 
case EOPNOTSUPP: 
// unexpected errors 
LOG_FATAL << "unexpected error of ::accept"; 
+ LOG_FATAL << "unexpected error of ::accept " 
break; 
default: 
LOG_FATAL << "unknown error of ::accept 


如 果 对 class 做 dif， 那 么 chunk name 就 是 class name。 


diff --git a/muduo/net/Buffer.h b/muduo/net/Buffer.h 

--- a/muduo/net/Buffer.h 

+++ b/muduo/net/Buffer.h 

Ge -60,13 +60,13 @@ class Buffer public nmuduo copyable 
std: :swap(writerIndex_, rhs.writerIindex_); 


2 


<< SavedErrno; 


<< savedErrno; 


- Size_t readableBytes(); 
+ Size_t readableBytes() const; 


- Size_t writableBytes(); 
+ Size_t writableBytes() const; 


- Size_t prependableBytes(); 
+ Size_t prependableBytes() const; 


const char* peek() const; 


diff 原 本 是 为 C 语 言 设 计 的 ，C 语 言 没有 namespace 缩 进 一 说 ， 所 以 它 默 
认 会 找到 “ 顶 格 写 ” 的 函数 作为 一 个 diff chunk 的 名 字 。 如 果 函 数 名 前 面 有 空 


格 ， 它 就 不 认得 了 。muduo 的 代码 都 遵循 这 一 规则 ， 例 如 : 


muduo/base/Timestamp.h 


namespace muduo 


// class 从 第 一 列 开 始 写 ， 不 缩 进 
class Timestamp : public muduo: :copyable 


{ 
LY es 


}; 
muduo/base/Timestamp.h 


muduo/base/Timestamp.cc 
// 函数 的 实现 也 从 第 一 列 开始 写 ， 不 缩 进 。 
Timestamp Timestamp: :now() 
{ 
struct timeval tv; 
gettimeofday(&tv, NULL); 
int64_t seconds = tv.tv_sec; 
return Timestamp(seconds * kMicroSecondsPerSecond + tv.tv_usec); 


muduo/base/Timestamp.cc 


相反 ，Boost 中 的 某 些 库 的 代码 是 按 namespace 来 缩 进 的 ， 这 样 的 话 看 
diff 往 往 不 知道 改动 的 是 哪个 class 的 哪个 成 员 函 数 。 

这 个 或 许可 以 通过 设置 diff 取 函数 名 的 正则 表达 式 来 解决 ， 但 是 如 果 我 
们 写 代 码 的 时 候 就 注意 把 函数 “ 贾 格 写 ”， 那 么 就 不 用 去 动 diff 的 默认 设置 
了 。 另 外 ， 正 则 表达 式 不 能 完全 匹配 尔 数 名 ， 因 为 函数 名 属于 上 下 文 无 天 
语法 (context-free syntax) ， 你 ; th 
法 。 我 总 能 写 出 某 种 函数 声明 ， 让 你 的 正则 表达 式 失 效 ( 想 想 水 数 的 返回 
类 型 ， 它 可 能 是 一 个 非常 复杂 的 东西 ， 更 别 说 参数 了 ) 。 更 何况 Ci+ 的 语法 
是 上 下 文 相关 的 ， 比 如 ， 你 猿 Foo<Bar> qux; 是 个 表达 式 还 是 变量 定义 ? 


public 与 private 


我 认为 这 是 C++ 语法 的 一 个 缺陷 ， 如 果 我 把 一 个 成 员 孙 数 从 public 区 移 
到 private 区 ， 那 么 从 dif 上 看 不 出 来 我 干 了 什么 ， 例 如 : 


@@ -37,7 +37,6 @@ class TcpClient : boost::noncopyable 
void connect(); 
void disconnect(); 


- bool retry() const; 
void enableRetry() { retry_ = true; } 


/// Set connection callback. 
@@ -60,6 +59,7 @@ class TcpClient : boost::noncopyable 


void newConnection(int sockfd); 

/// Not thread safe, but in loop 

void removeConnection(const TcpConnectionPtr& conn); 
+ bool retry() const; 


EventLoop* loop.; 
boost::scoped_ptr<Connector> connector_; // avoid revealing Connector 


从 上 面 的 diff 能 看 出 我 把 retry0 变 成 private 了 吗 ? 对 此 我 也 没有 好 的 解决 
办 法 ， 总 不 能 在 每 个 函数 前 面 都 写 上 public: 或 private: 吧 ? 

对 此 Java 和 C# 都 做 得 比较 好 ， 它 们 把 public/private 等 修饰 符 放 到 每 个 成 
员 函 数 的 定义 中 。 这 么 做 增加 了 信息 的 元 余 度 ， 让 diff 的 结果 更 直观 。 


避免 使 用 版 本 控制 软件 的 keyword substitution 功 能 


这 么 做 是 为 了 避免 diff 噪 声 。 

比方 说 ， 如 果 我 想 比较 0.1.1 和 0.1.2 两 个 代码 分 支 有 哪些 改动 ， 我 通常 
会 在 branches 目 录 执 行 diff 0.1.1 0.1.2 -ru。 两 个 branch 中 的 
muduo/net/EventLoop.h 其 实 是 一 样 的 (先后 从 同一 个 revision 分 支出 来 ) 。 但 
是 如 果 这 个 文件 使 用 了 SVN 的 keyword substitution 功 能 (比如 $Id$) ，diff 会 
报告 这 两 个 branches 中 的 文件 不 一 样 ， 如 下 所 示 。 


diff -rup 0.1.1/muduo/net/EventLoop.h 8.1.2/muduo/net/EventLoop.h 
--- 0.1.1/muduo/net/EventLoop.h 2011-05-02 23:11:02.000000000 +0800 
+++ 0.1.2/muduo/net/EventLoop.h 2011-05-02 23:12:22.000000000 +0800 
C6 -8,7 +8,7 6GG 
a 
// This is a public header file, it must only include public header files. 


-// $Id: EventLoop.h 4 2011-05-01 10:11:022 schen $ 
+// $Id: EventLoop.h 5 2011-05-02 15:12:22Z schen $ 


#ifndef MUDUO_NET_EVENTLOOP_H 
#define MUDUO_NET_EVENTLOOP_H 


这 样 纯粹 增加 了 噪声 ， 这 是 RCS/CVS 时 代 的 过 时 做 法 。 文 件 的 Id 不 应 
该 在 文件 内 容 中 出 现 ， 这 些 metadata 跟 源 文 件 的 内 容 无 关 ， 应 该 由 版 本 管理 
软件 额外 提供 。 


12.6.2 ”对 grep 友 好 的 代码 风格 
操作 符 重 载 


C++ 工具 匮乏 ， 在 一 个 项 目 里 ， 要 找到 一 个 孙 数 的 定义 或 许 不 算 太 难 
(最 多 就 是 分 析 一 下 重 载 和 模板 特 化 ) ， 但 是 要 找到 一 个 函数 的 使 用 就 难 

多 了 。 不 比 Java， 在 Eclipse 里 按 Ctri+Shift+G 组 合 键 就 能 找到 所 有 的 引用 
点 。 

假如 我 要 做 一 个 重 构 ， 想 先 找到 代码 里 所 有 用 到 
muduo::timeDifference() 的 地 方 ， 判 断 一 下 工作 是 否 可 行 ， 基 本 上 唯一 的 办 
法 是 grep。 用 grep 还 不 能 排除 同名 的 函数 和 注释 里 的 内 容 。 这 也 说 明了 为 什 
么 要 用 /来 引导 注释 ， 因 为 在 grep 的 时 候 ， 一 眼 就 能 看 出 这 行 代码 是 在 注释 
里 的 。 

在 我 看 来 ，operator overloading 应 仅 限 于 和 STL algorithm/container 配 合 
时 使 用 ， 比 如 std::transform0 和 map<Key Value>， 其 他 情况 都 用 具名 函数 为 
宜 。 原 因 之 一 是 ， 我 根本 用 grep 找 不 到 在 哪儿 用 到 了 减 号 operator-0)。 这 也 
是 muduo::Timestamp class 只 提供 operator<() 而 不 提供 operator+() operator-() 的 
原因 。 我 提供 了 两 个 国 数 timeDifference0 和 addTime0 来 实现 所 需 的 功能 。 

又 比如 ，GoogleProtocolBuffers 的 回调 是 Closure class， 它 的 接口 用 的 是 
virtual function Run() 而 个 是 virtual operator()()。 


static_cast 与 C-style cast 


为 什么 C++ 要 引入 static_cast 之 类 的 转型 操作 符 ， 原 因 之 一 就 是 像 (int*) 
pBuffer 这 样 的 表达 式 基 本 上 没 办 法 用 grep 判 断 出 它 是 个 强制 类 型 转换 ， 写 不 
出 一 个 刚好 只 匹配 类 型 转换 的 正则 表达 式 。 (其 语法 是 上 下 文 无 关 的 , 无 
法 用 正则 搞定 。) 

如 果 类 型 转换 都 用 *_cast， 那 只 要 grep 一 下 ， 我 就 能 知道 代码 里 哪儿 用 
了 reinterpret_cast 转 换 ， 便 于 迅速 地 检查 有 没有 用 错 。 为 了 强调 这 一 点 ， 


muduo 开 启 了 编译 选项 -Wold-style-cast 来 帮助 查找 C-style casting， 这 样 在 编 
译 时 就 能 帮 有 我 们 找到 问题 。 


12.6.3 “一切 为 了 效率 


如 果 用 图 形 化 的 文件 比较 工具 ， 似 乎 能 避免 上 面 列 举 的 问题 。 但 无 论 
是 web 还 是 客户 端 ， 无 论 是 diff by words 还 是 diff by lines 都 不 能 解决 全 部 问 
题 ， 效 率 也 不 一 定 更 高 。 

对 于 此 处 举 的 例子 ， 如 果 想 知道 是 谁 在 什么 时 候 增 加 的 double z， 在 分 
行 写 的 情况 下 ， 用 git blame 或 svn blame 立 刻 就 能 找到 始作俑者 。 如 果 写 成 一 
行 ， 那 就 得 把 文件 的 revisions 拿 来 一 个 个 人 工 比较 ， 因 为 这 一 行 double x= 
0.0, y 三 1.0, z 二 -1.0; 可 能 修改 过 多 次 ， 你 得 一 个 个 看 才 知 道 什么 时 候 加 入 了 
变量 z。 另 外 几 种 情况 也 使 得 blame 的 输出 更 易 读 。 

比如 此 处 改动 了 一 行 代 码 ， 你 还 是 要 向 上 翻 去 找 改 的 是 哪个 函数 。 人 
眼看 的 话 还 有 “看 走 眼 ”的 可 能 ， 又 得 再 定 睛 观 瞧 。 这 一 切 都 是 在 浪费 人 的 
时 间 ， 使 用 更 好 的 图 形 化 工具 并 不 能 减少 浪费 ; 相反 ， 我 认为 增加 了 浪 
费 。 

另外 一 个 常见 的 工作 场景 ， 早 上 来 到 办 公 室 ，update 一 下 代码 ， 然 后 扫 
一 眼 diff output 看 看 别人 昨天 动 了 哪些 文件 ， 改 了 哪些 代码 。 这 就 是 一 两 条 
命令 的 事 ， 几 秒 就 能 结束 战斗 。 如 果 用 图 形 化 的 工具 ， 得 一 个 个 点 击 文件 
diff 的 链接 或 打开 新 tab 来 看 文件 的 side-by-side 比 较 (不 这 么 做 的 话 就 看 不 到 
足够 多 的 上 下 文 ， 跟 看 diff output 无 异 ) ， 然 后 上 下 翻动 页 面 去 看 别人 到 底 
改 了 什么 。 说 实话 ， 我 觉得 这 么 做 效率 并 不 比 dqiff 高 。 


12.7 再 探 std::string 


Scott Meyers 在 《Effective STL》[ESTL] 第 15 条 提 到 std::string 有 多 种 实 
现 方式 ， 归 纳 起 来 有 三 类 ， 而 每 类 又 有 多 种 变化 。 


1. 无 特殊 处 理 (eager copy) ， 采 用 类 似 std::vector 的 数据 结构 。 现 在 
很 少 有 实现 采用 这 种 方式 。 


2. Copy-on-Write (COW) 。g++ 的 std::string 一 直 采 用 这 种 方式 实现 z 


3. 短 字 符 串 优 化 (SSO) ， 利 用 string 对 象 本 身 的 空间 来 存储 短 字符 


串 。Visual C++ 用 的 是 这 种 实现 方式 。 


表 12-1 总 结 了 我 知道 的 各 个 库 的 string 实 现 方式 和 string 对 象 分 别 在 32 一 


bit/64 一 bit x86 系 统 中 的 大 小 。 


表 12-1 
库 32-bit ”64-bit ”实现 方式 
g++ std::string 4 8 COW 
__ gnu_ cxx::__sso_string 24 32 IC) 
_ gnNu CXx::_rc string 4 8 COW 
clang libc++ 12 24 S55O 
SsT STL 到 24 eager copy 
STLPort 24 48 SSO 
Apache libstdcxx 4 8 COW 
Visual C++ 2010 28/32 40/48 SSO 


Visual C++ 的 string 的 大 小 跟 编 译 模式 有 关 ， 表 12-1 中 小 的 那个 数字 是 
release 编 译 ， 大 的 是 debug 编 译 。 因 此 debug 库 和 release 库 不 能 混用 。 除 此 之 


外 ， 其 他 库 的 string 大 小 是 固定 的 。 


以 下 分 别 介绍 这 几 种 实现 方式 的 代码 骨架 和 数据 结构 示意 图 ， 无 论 哪 
种 实现 方式 都 要 保存 三 个 数据 : 1. 字符 串 本 身 (char[]) ，2. 字符 串 的 长 


度 (size) ，3. 字符 串 的 容量 (capacity) 。 


12.7.1 ”直接 拷贝 (eager copy) 


类 似 std::vector 的 “三 指针 ”结构 。 代 码 骨 架 《省 略 模板 ) 如 下 ， 数 据 结 


构 示意 图 如 图 12-1 所 示 。 


eager copy string 1 
// http://www.sgi.com/tech/stl/string 


// Class invariants: 

// (1) [start, finish) is a valid range. 

// (2) Each iterator in [start, finish) points to a valid object 
jf of type value_type. 

// (3) *finish is a valid object of type value_type; in particular, 
it is value_type(). 

// (4) [finish + 1, end_of_storage) is a valid range. 


// (5) Each iterator in [finish + 1, end_of_storage) points to 
// uninitialized memory. 


// Note one important consequence: a string of length n must manage 
// a block of memory whose size is at least n + 1. 


class string 


public: 

const_pointer data() const 
iterator begin() 

iterator end() 

size_type size() const 
size_type capacity() const 


return start; } 

return start; } 

return finish; } 

return finish - start; } 

return end_of_storage - start; } 


rm en ene 


private: 

Charx start; 

char* finish; 

charx end_of_storage; 


}; 
eager copy string 1 


capacity 


string 有 
- 


end_of_storage — 


图 12-1 
对 象 的 大 小 是 3 个 指针 ， 在 32-bit 中 是 12 字 节 ， 在 64-bit 中 是 24 字 节 。 
Eager copy string 的 另 一 种 实现 方式 是 把 后 两 个 成 员 变 量 蔡 换 成 整数 ， 
表示 字符 串 的 长 度 和 容量 ， 代 码 骨 架 如 下 ， 数 据 结构 示意 图 如 图 12-2 所 示 。 


一 一 Qager copy string2 
class string 

‘ 

public: 
const_pointer data() const 
iterator begin() 
iterator end() 
size_type size() const 
size_type capacity() const 


return start; } 

return start; } 

return start + size_; } 
return Size_; } 

return capacity_; } 


六 六 一 一 


private: 

charx start; 
Size_t Size_; 
size_t capacity_; 


让 


eager copy string 2 


capacity 


string 


S12€ 


capacity 
图 12-2 


这 种 做 法 并 没有 多 大 的 改变 ， 因 为 size_t 和 char* 是 一 样 大 的 。 但 是 ， 我 
们 通常 用 不 到 单个 几 百 兆 字 节 的 字符 串 *， 那 么 可 以 再 改变 一 下 长 度 和 容量 
的 类 型 (从 64-bit 整 数 改 成 32-bit 整 数 ) ， 这 样 在 64-bit 下 可 以 减 小 对 象 的 大 
小 ， 如 图 12-3 所 示 。 


一 eagercopystring3 
class string 
A ts 

private: 

char* start; 

Uint32_t size; 

uint32_t capacity; 

}; 

一 6agercopystringq3 


capacity 


string 


start (64-bit) 


图 12-3 


新 的 string 结 构 在 64-bit 中 是 16 字 节 ， 比 原来 的 24 字 节 小 了 一 些 。 
12.7.2” 写 时 复制 (copy-on-write) 


string 对 象 里 只 放 一 个 指针 ， 如 图 12-4 所 示 。 值 得 一 提 的 是 COW 对 多 线 
程 不 友好 ，Andrei Alexandrescu 提 倡 在 多 核 时 代 应 该 改 用 eager copy string。 


[Alex10] 


copy-on-write string 
class cow_string // libstdc++-v3 


‘ 
struct Rep 


size_t Size; 

size_t capacity; 

size_t refcount; 

char* data[1]; // variable length 
站 
Charx start; 


Copy-on-Write string 


capacity 


。 3 
S1Ze 


jr 
= 


图 12-4 


这 种 数据 结构 没 哈 好 说 的 ， 在 64-bit 中 似乎 也 没有 优化 空间 。 另 外 COW 
的 操作 复杂 度 不 一 定 符合 直觉 ， 它 拷贝 字符 串 是 O(1) 时 间 ， 但 是 拷贝 之 后 
的 第 一 次 operator[] 有 可 能 是 O(N) 时 间 。> 


12.7.3” 短 字符 串 优 化 (SSO) 


string 对 象 比 前 面 两 个 都 大 ， 因 为 有 本 地 缓冲 区 (local buffer) 。 


short-string-optimized string 


class sso_string // __gnu_ext::__sso_string 
{ 

char*x start; 

size_t size; 

static const int kLocalSize = 15; 

union 


char buffer[kLocalSize+1]; 
size_t capacity; 
} data; 


short-string-optimized string 
内 存 布局 如 图 12-5 〈 左 图 ) 所 示 。 如 果 字 符 串 比较 短 (通常 的 阐 值 是 15 


字 节 ) ， 那 么 直接 存放 在 对 象 的 buffer 里 ， 如 图 12-5 ( 右 图 ) 所 示 。start 指 
向 data.buffer。 


string (Short) 


16 bytes 


图 12-5 


如 果 字 符 串 超过 15 字 节 ， 那 么 就 变 成 类 似 图 12-2 的 eager copy 2 结构 ， 
start 指 向 堆 上 分 配 的 空间 ( 见 图 12-6) 。 


capacity 


siZe 


www.chenshuo.com 


(long) 


图 12-6 


短 字 符 串 优化 的 实现 方式 不 止 一 种 ， 主 要 区 别 是 把 那 三 个 指针 二 整数 
中 的 哪 一 个 与 本 地 缓冲 重合 。 例 如 《Effective STL》[ESTL] 第 15 条 展现 的 
“实现 D”* 是 将 buffer 与 start 指 针 重 合 ， 这 正 是 Visual C++ 的 做 法 。 而 STLPort 的 
string 是 将 buffer 与 end_of_storage 指 针 重 合 。 

SSO string 在 64-bit 中 有 一 个 小 小 的 优化 空间 : 如 果 人 允许 字符 串 
max_size() 不 大 于 4GiB 的 话 ， 我 们 可 以 用 32-bit 整 数 来 表示 长 度 和 容量 ， 这 
样 同 样 是 32 字 节 的 string 对 象 ，local buffer 可 以 增 大 至 19 字 节 。 


short-string-optimized string 2 


class sso_string // optimized for 64-bit 
{ 


char*x start; 
Uint32_t size; 


static const int kLocalSize = sizeof(void*) == 8 ? 19 : 15; 
union 


char buffer[kLocalSize+1]; 
Uint32_t capacity; 
} data; 
}; 
short-string-optimized string 2 


内 存 布局 如 图 12-7 所 示 。 


start (64-bit) 


16 bytes 


local buffer up to 19 bytes 
图 12-7 
llvm/clang/libc++ 采 用 了 与 众 不 同 的 SSO 实 现 ， 空 间 利用 率 最 高 。 其 
local buffer 几 乎 与 三 个 指针 二 整数 完全 重合 ， 在 64-bit 上 对 象 大 小 是 24 字 
节 ， 本 地 缓冲 区 可 达 22 字 节 。 数 据 结构 如 图 12-8 所 示 。 


capacity 


(long) (short) 


图 12-8 
它 用 一 个 bit 来 区 分 是 长 字符 还 是 短 字 符 ， 然 后 用 位 操作 和 掩 码 


(mask) 来 取 重 芭 部 分 的 数据 ， 因 此 实现 是 SSO 里 最 复杂 的 *， 如 图 12-9 所 
示 。 


0 31/63 


(short) 
0 31/63 
DE 

start 二 一 和 data 


(long) 


图 12-9 


Andrei Alexandrescu 建 议 *“" 针对 不 同 的 应 用 负载 选用 不 同 的 string， 对 
于 短 字符 串 ， 用 SSO string; 对 于 中 等 长 度 的 字符 串 ， 用 eager copy; 对 于 长 
字符 串 ， 用 COW。 具体 分 界 点 需要 靠 profiling 来 确定 ， 选 用 合适 的 字符 串 可 
能 提高 10% 的 整体 性 能 。 

从 实现 的 复杂 度 上 看 ，eager copy 是 最 简单 的 ，SSO 稍 微 复杂 一 些 ， 
COW 最 难 。 性 能 也 各 有 千秋 ， 见 Petr Ovtchenkov 写 的 《Comparison of 
Strings Implementations in C++ language》2。 我 准备 自己 写 一 个 non-standard 
2non-template# 的 string 库 (位 于 recipes/string) 作为 练 手 ， 计 划 采 用 eager 
copy 3 和 sso 2 的 数据 结构 。 

注 : C++03/98 标 准 没 有 规定 string 中 的 字符 是 连续 存储 的 ， 但 是 

《Generic ProgrammingandtheSTL》 的 作者 MatthewAustern 指 出 : 现在 所 有 
的 std::string 实 现 都 是 连续 存储 的 ， 因 此 建议 在 新 标准 中 明确 规定 下 来 :。 


12.8 用 STL algorithm 轻 松 解决 几 道 算 法 面试 题 


C++ STL 的 algorithm 配 合 自 定 义 的 functor 〈 仿 函数 、 函 数 对 象 ) 可 以 轻 
松 解决 不 少 面试 题 ， 代 码 简洁 ， 正 确 性 也 容易 验证 。 本 节 仍 旧 采 用 C++03 的 
functor 写 法 ， 没 有 采用 C++11 的 Lambda 表 达 式 写法 ， 尽 管 后 者 会 简洁 得 
多 。 完 整 代码 及 测试 用 例 见 recipes/algorithm 。 


12.8.1 ”用 next_permutation() 生 成 排列 与 组 合 


本 小 节 的 内 容 源 自 10 年 前 我 写 的 一 篇 博客 s， 这 篇 博客 还 找到 了 Visual 
C++ 7.0 的 STL 的 一 个 疑似 bug (或 者 叫 feature) 。 生 成 排列 、 组 合 、 整 数 划 
分 的 具体 算法 见 Donald Knuth 的 《The Art of Computer Programming, Volume 
4A》= 第 7.2.1 节 。 本 处 只 给 出 使 用 STL 的 实现 代码 。 


生成 N 个 不 同 元 素 的 全 排列 


这 是 next_permnutation0) 的 基本 用 法 ， 把 元 素 从 小 到 大 放 好 〈 即 字典 序 最 
小 的 排列 ) ， 然 后 反复 调用 next_permutation() 就 行 了 。 


recipes/algorithm/permutation.cc 


6 int main() 

7 { 

8 int elements[] = { 1, 2, 3, 4 }; 

9 const size_t N = sizeof(elements)/sizeof (elements[0]); 
10 std: :vector<int> vec(elements. elements + N): 

11 

12 int count = 0; 

13 do 

14 

15 std::cout << ++count << ": " 

16 std::copy(vec.begin(), vec.end(), 

17 std::ostream_iterator<int>(std: :cout, ", ")); 
18 std::cout << std::endl; 

19 } while (next_permutation(vec.begin(), vec.end())); 

20 } 


recipes/algorithm/permutation.cc 


整个 程序 最 关键 的 就 是 L19。 输 出 的 前 几 行 如 下 : 


ee 
站 下 2， 未， 3。 
3 
站 下 3， 到 :2 
655 可， 二 了 
6 四， 语 六 ， 
78 这 1] 这 站 
Bs ie Te ee Bs 
9: 光 ， 3. 4， 
17 一 共 24 行 
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类 似 的 代码 还 能 生成 多 重 排列 ， 比 如 2 个 a、3 个 b 的 全 部 排列 ， 代 码 见 
permutation2.cc c。 输 出 如 下 : 


1 ;a a5 ds bs bs 
2 
3 二 法 a 法 
4 Hx BD De By 
Ds a ,BB 汪 , 
0: PB a $B a $B 
7 
62 二 
902. 0 灶 痢 入 5 没 
19: "bs by be Bi a 
: 51 
注 : - = 10 

2 9! 

思考 : 能 不 能 把 do {} while 0 循环 换 成 while () {} 循 环 ? 


生成 从 N 个 元 素 中 取出 M 个 的 所 有 组 合 


题目 : 输出 从 7 个 不 同 元 素 中 取出 3 个 元 素 的 所 有 组 合 。 思 路 : 对 序 
列 {1, 1, 1, 0, 0, 0, 0} 做 全 排列 。 对 于 每 个 排列 ， 输 出 数字 1 对 应 的 位 置 上 的 
元 素 。 代 码 如 下 : 


recipes/algorithm/combination.cc 
7 int main() 

8 攻 

9 int VaLUBSL] 三 1 过 35 5; 7 

10 int elements[] ={ 1, 1, 1, 6, 0, 0, 0 ); 


11 const size_t N = sizeof(elements)/sizeof(elements[0]); 
12 assert(N == sizeof (valuyes)/sizeof (values[0])):; 

13 std: :vector<int> selectors(elements, elements + N); 

14 

15 int count = 0; 

16 do 

17 { 

18 std::cout << ++count << ” - 

19 for (size_t i = 0; i < selectors.size(); ++i) 

20 

21 if (selectors[i]) 

22 { 

23 std: :cout << values[i] << ", "; 

24 } 

25 } 

26 std::cout << std::endl; 

27 } while (prev_permutation(selectors.begin(), selectors.end())); 
28 } 
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注意 ， 为 了 照顾 输出 顺序 ，L27 用 的 是 prev_permutation()。 程 序 输出 如 


下 : 

Te la 2 3 

2 十， 2 

3 2 

i 

// 省 略 若干 行 
333. 6 村。 “天 
34: 4, 6, 7, 
35: 5, 6, 7, 


可 见 完整 地 输出 了 C(7,4) 二 35 种 组 合 。 


12.8.2 ”用 unique(0) 去 除 连 续 重 复 室 白 


孟 岩 在 谈 《C++ 程 序 设计 原理 与 实践 》z 时 曾 说 :“ 比 如 对 我 来 说 ， 

C++ 这 个 语言 最 强 的 地 方 在 于 它 的 模板 技术 提供 了 足够 复杂 的 程序 库 开 发 机 
制 ， 可 以 把 复杂 性 高 度 集中 在 程序 库 里 。 做 得 好 的 话 ， 在 应 用 代码 部 分 我 
连 一 个 for 循 环 都 不 用 写 ， 犯 错误 的 机 会 就 少 ， 效 率 还 不 打折 扣 ， 关 键 是 看 
着 代码 心里 来 。” 这 几 小 节 可 算是 他 这 番 话 的 一 个 注脚 。C++11 有 了 Lambda 
表达 式 ，Scott Meyers 提 倡 的 “Prefer algorithm calls to hand-written loops” 就 更 
容易 落实 了 :。 

题目 ”给 你 一 个 字符 串 ， 要 求 原 地 (in-place) 把 相 邻 的 多 个 空格 替换 
为 一 个 2。 例 如 ， 输 入 "a，，b"， 输 出 "a，b"; 输入 "aaa，，，bbb，，"， 输 
出 "aaa, ,bbb,,"。 

这 道 题目 不 难 ， 手 写 的 话 也 就 是 单 重 循环 ， 复 杂 度 是 O(N) 时 间 和 O(1) 
空间 。 这 里 展示 用 std::unique() 的 解法 ， 思 路 很 简单 : std::unique() 的 作用 是 
去 除 相 邻 的 重复 元 素 ， 我 们 只 要 把 “重复 元 素 ” 定 义 为 “两 个 元 素 都 是 空格 ” 即 
可 。 注 意 所 有 针对 区 间 的 STL algorithm 都 只 能 调换 区 间 内 元 素 的 顺序 ， 不 
能 真正 删除 容器 内 的 元 素 ， 因 此 需要 L17。 关 键 代 码 如 下 : 


recipes/algorithm/removeContinuousSpaces.cc 


5 struct AreBothSpaces 

6 

7 bool operator()(char x, char y) const 
8 

9 return x == ' ' &&y == ' 

10 } 

1 机 


13 void removeContinuousSpaces(std::string& str) 


14 { 

15 std::string: :iterator last 

16 = std::unique(str.begin(), str.end(), AreBothSpaces()); 
17 str.erase(last, str.end()); 

1 
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12.8.3 ”用 {make,push,pop}_heap(0) 实 现 多 路 归并 


题目 用 一 台 4GiB 内 存 的 机 器 对 磁盘 上 的 单个 100GB 文 件 排 序 。2 

这 种 单机 外 部 排序 题目 的 标准 思路 是 先 分 块 排序 ， 然 后 多 路 归并 成 输 
出 文件 。 多 路 归并 很 容易 用 heap 排 序 实现 ， 比 方 说 要 归并 已 经 按 从 小 到 大 
的 顺序 排 好 序 的 32 个 文件 ， 我 们 可 以 构造 一 个 32 元 素 的 min heap， 每 个 元 素 
是 std::pair<Record, FILE*>。 然后 每 次 取出 堆 顶 的 元 素 ， 将 其 Record 写 入 输 


出 文件 ; 如 果 FILE* 还 可 读 ， 就 读 入 一 条 Record， 再 向 heap 中 添加 
std::pair<Record, FILE*>。 这样 当 heap 为 空 的 时 候 ， 多 路 归并 就 完成 了 。 注 
意 在 这 个 过 程 中 heap 的 大 小 通常 会 慢 慢 变 小 ， 因 为 有 可 能 某 个 输入 文件 已 
经 全 部 读 完 了 。 

这 种 方法 比 传统 的 二 路 归并 要 节省 很 多 遍 磁盘 读 写 ， 假 如 用 教科 书 上 
的 二 路 归并 来 做 外 部 排序 2， 那么 我 们 要 先 读 一 遍 这 32 个 文件 ， 两 两 归并 输 
出 16 个 稍 大 的 已 排序 中 间 文 件 ; 然后 再 读 一 遍 这 16 个 中 间 文 件 ， 两 两 归并 
输出 8 个 更 大 的 中 间 文 件 ; 如 此 往复 ， 最 后 归并 两 个 已 经 排 好 序 的 大 文件 ， 
输出 最 终 的 结果 。 读 者 可 以 算 算 这 上 比 直接 多 路 归并 要 多 读 写 多 少 遍 磁盘 。 

完整 的 外 部 排序 代码 见 recipes/esort/sort02.cc 及 其 改进 版 sort{03,04}.cc 。 
这 里 展示 一 个 内 存 里 的 多 路 归并 ， 以 说 明基 本 思路 。 


recipes/algorithm/mergeN.cc 
39 File mergeN(const std::vector<File>& files) 


40 { 

41 File output; 

42 std: :vector<Input> inputs; 

43 

44 for tsilze td 0 1 CTI SIZe(y? FI 
45 Input input(&files[i]); 

46 if (input.next()) { 

47 inputs.push_back(input) ; 

48 

49 } 

50 

51 std: :make_heap(inputs.begin(), inputs.end()); 
52 while (!inputs.empty()) { 

53 std: :pop_heap(inputs.begin(), inputs.end()); 
54 output.push_back(inputs.back().value); 

55 

56 if (inputs.back().next()) { 

57 std: :push_heap(inputs.begin(), inputs.end()); 
58 } else { 

59 inputs.pop_back() ; 

60 } 

61 } 

62 

63 return output; 

64 } 
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L44~ 51 构 造 一 个 binary heap，L52 开 始 的 while 循 环 反复 取出 堆 顶 元 素 
(L53 std::pop_heapO) 会 把 堆 顶 元 素 放 到 序列 末尾 ， 即 inputs.back0O 处 ) ， 
L54 把 取出 的 元 素 (当前 最 小 值 ) 输出 。L56~L60 从 堆 顶 元 素 所 属 的 文件 读 


入 下 一 条 记录 ， 如 果 成 功 ， 就 把 它 放 回 堆 中 〈L57) 。 当 循环 结束 的 时 候 ， 
堆 为 空 ， 说 明 每 个 文件 都 读 完了 。 其 中 用 到 的 Input 类 型 定义 如 下 。 


recipes/algorithm/mergeN.cc 
typedef int Record; 


typedef std::vector<Record> File; 


struct Input 
{ 
Record value; 
const Filex file; 
explicit Input(const Filex f); 
bool next(); 


bool operator<(const Input& rhs) const 


// make_heap to build min-heap, for merging 
return value > rhs.value; 
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以 上 是 多 路 归并 的 实现 ， 再 来 考虑 第 一 阶段 分 块 排序 的 流水 线 设 计 。 
先 做 一 个 简化 的 假设 : 普通 机 械 硬 盘 的 顺序 读 写 速度 是 100MB/s， 既 然 可 用 
内 存 为 4GB， 那 么 分 块 (chunk) 的 大 小 就 选 定 为 GB， 这 样 读 入 和 写 出 一 
个 分 块 均 耗 时 10 秒 。 再 假设 在 内 存 中 排序 1GB 数 据 耗 时 10 秒 。 为 了 编程 方 
便 ， 磁 盘 IO 用 阻塞 方式 。 按 照 这 些 假设 ， 如 果 用 单线 程 的 方式 实现 外 部 排 
序 ， 第 一 阶段 的 耗 时 是 30N 秒 ， 其 中 N 是 分 块 数目 。 对 一 个 6GB 的 文件 排 
序 ， 单 线程 程序 (sort02.cc ) 的 执行 过 程 如 图 12-10 所 示 ， 第 一 阶段 将 耗 时 
180 秒 (只 画 出 前 120 秒 ) 。 内 存 消 耗 为 1GB。 
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注意 到 ， 在 程序 执行 时 ， 要 么 CPU 繁 忙 ， 要 么 硬盘 繁忙 (Busy 行 的 DD 表 
示人 磁盘 ，C 表 示 CPU) ， 资 源 并 没有 充分 利用 起 来 。 为 了 加 快 排序 速度 ， 我 


们 考虑 用 多 线程 ， 直 计算 和 IO 重 亚 ， 减 少 整体 运行 时 间 。 注 意 这 里 我 们 不 
能 简单 地 起 多 个 进程 ， 每 个 进程 分 别 排序 一 个 chunk， 因 为 这 样 势必 会 造成 
多 个 进程 争 抢 磁盘 IO， 而 机 械 硬盘 的 随机 读 取 比 顺 序 读 取 慢 得 多 。 

一 种 解决 办 法 是 把 IO 放 入 一 个 单独 的 线程 ， 避 免 争 抢 ， 然 后 用 另外 的 
线程 (s) 来 排序 内 存 中 的 数据 块 。 换 句 话 说， 一 个 线程 做 IO (由 于 只 有 一 块 
硬盘 ， 那 么 不 必 使 用 多 个 IO 线程 ) ， 再 用 一 个 线程 池 做 计算 ， 以 实现 IO 和 
计算 重 亚 。 我 们 预计 这 种 方式 完成 分 块 排序 将 会 耗 时 120 秒 ， 比 单线 程 快 
33% .预计 执行 流程 (流水 线 ) 如 图 12-11 所 示 。 
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图 12-11 
注意 同一 时 刻 磁盘 要 么 顺序 读 ， 要 么 顺序 写 ， 避 免 肥 复 寻 道 的 开销 。 
这 种 方案 会 让 CPU 和 磁盘 同时 繁忙 ， 提 高 了 资源 利用 率 ， 内 存 消耗 为 2GB。 
这 种 思路 的 代码 见 sort03.cc。 图 12-12 是 一 次 实际 运行 的 情况 ， 方 块 的 宽度 
与 时 间 成 正比 。 这 里 实际 的 磁盘 和 CPU 的 速度 比 前 面 的 假设 要 快 ， 因 此 第 
一 阶段 总 耗 时 90 秒 。 


图 12-12 


注意 到 CPU 的 吞吐 量 (每 秒 排序 100MB 数 据 ) 大 于 单 块 磁盘 吞吐 量 
( 读 写 100MB 共 耗 时 2 秒 ) ， 因 此 仍然 会 出 现 CPU 等 待 iO 的 情况 。 如 果 有 不 
止 一 块 磁盘 ， 可 以 重新 设计 流水 线 ， 进 一 步 压缩 运行 时 间 。 上 比方 说 把 输入 
数据 全 部 放 在 S 盘 (source) ， 把 分 块 排序 的 中 间 结 果 放 到 T 盘 
(temporary) ， 这 样 两 块 磁盘 一 读 一 写 ， 可 以 相互 重 羡 。 在 归并 阶段 ， 自 


然 可 以 从 T 盘 读数 据 写 到 S 盘 。 这 需要 用 到 两 个 IO 线程 ， 每 个 磁盘 配 一 个 IO 
线程 ， 确 保 每 个 磁盘 都 是 顺序 访问 的 ， 以 保证 吞吐 量 。 这 种 方案 的 分 块 排 
序 预计 用 时 80 秒 ， 预 计 执行 流程 如 图 12-13 所 示 ， 比 第 一 种 快 50% 以 上 ， 内 
存 消耗 也 增长 到 3GB。 (这 种 方案 的 实现 留 作 练 习 。) 
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还 有 一 个 简单 的 优化 措施 : 最 后 的 两 三 个 排序 结果 不 必 写 入 磁盘 ， 而 
是 直接 在 内 存 中 参与 多 路 归并 ， 这 样 大 约 可 以 再 节约 10 秒 。 

类 似 的 题目 : 有 a、b 两 个 文件 ， 大 小 各 是 100GB 左 右 ， 每 行 长 度 不 超过 
1kB， 这 两 个 文件 有 少量 ( 几 百 个 ) 重复 的 行 ， 要 求 用 一 台 4GiB 内 存 的 机 器 
找 出 这 些 重复 行 。 

解 这 道 题目 有 两 个 方向 ， 一 是 hash， 把 a、b 两 个 文件 按 行 的 hash 取 模 分 
成 几 百 个 小 文件 ， 每 个 小 文件 都 在 1GB 以 内 ， 然 后 对 ai 、bi 求 交 集 c; ， 对 
ao 、b， 求 交 集 c, ， 这 样 就 能 在 内 存 里 解决 了 。 

第 二 个 思路 是 外 部 排序 ， 但 是 跟前 面 完 整 的 外 部 排序 不 同 ， 我 们 并 不 
需要 得 到 两 个 已 排序 的 文件 (a' 和 b') 再 求 交集 ， 只 需要 把 a 分 块 排序 成 100 
个 小 文件 ， 再 把 b 分 块 排序 成 100 个 小 文件 。 剩 下 的 工作 就 是 一 边 读 这 些小 
文件 ， 一 边 在 内 存 中 同时 归并 出 a 和 b'， 一 边 求 出 交集 。 内 存 中 的 两 个 多 路 
归并 需要 两 个 heap， 分 别 对 应 a 和 b 的 小 文件 (s)。 内 存 中 的 运算 流程 如 图 12- 
14 所 示 。 
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代码 写 起 来 估计 比 单个 heap 归 并 要 复杂 一 些 ， 特 别 是 C++ 不 支持 类 似 C# 
的 yield 关 键 字 来 方便 地 实现 迭代 。 假 如 C++ 有 yield， 那 么 “ 求 交 集 ” 这 一 步 我 
们 直接 调用 std::set_intersection() 并 配合 适当 的 迭代 器 就 行 了 ， 但 是 在 没有 
yield 的 情况 下 要 实现 这 样 的 迭代 器 恐怕 要 费事 得 多 ， 因 为 每 个 迭代 器 要 维 
护 更 多 的 状态 。 这 算是 coroutine 的 一 个 使 用 场景 。 

上 面 两 种 解法 的 代价 都 是 额外 200GB 磁 盘 空间 ， 请 读者 思考 有 没有 大 
大 节省 磁盘 空间 的 做 法 。 另 外 一 个 延伸 的 题目 是 : 有 几 个 巨大 的 文本 文 
件 ， 每 行 存放 一 个 查询 (query) ， 将 所 有 query 按 出 现 次 数 排序 (代码 
https://gist.github.com/4009225 ) 。 


12.8.4 ”用 partition() 实 现 “ 重 排 数 组 ， 让 奇数 位 于 偶数 前 面 ” 


std::partition() 的 作用 是 把 符合 条 件 的 元 素 放 到 区 间 首 部 ， 不 符合 条 件 的 
元 素 放 到 区 间 后 部 ， 我 们 只 需 把 “符合 条 件 ” 定 义 为 “元 素 是 奇数 ”就 能 解决 这 
道 题 。 复 杂 度 是 O(N) 时 间 和 0O(1) 空 间 。 为 节省 篇 幅 ，isOdd() 直 接 做 成 了 迎 
数 ， 而 不 是 函数 对 象 ， 缺 点 是 有 可 能 阻碍 编译 器 实施 inlining。 


recipes/algorithm/partition.cc 


bool isOdd(int x) 


5 
和 睛 
7 return x %2 !=0; // x % 2 == 1 is WRONG 
8 } 


10 void moveOddsBeforeEvens() 


{ 
12 int oddeven[] = { 1, 2, 3, 4, 5, 6 )}; 
13 std: Datitioncoddeven, oqilavenie. &isOdd); 


14 std: :copy(oddeven, oddeven+6, std::ostream_iterator<int>(std::cout, ", ")); 
15 std::cout << std::endl; 
I 


recipes/algorithm/partition.cc 


输出 如 下 ， 注 意 确实 满足 “奇数 位 于 偶数 之 前 ”， 但 奇数 元 素 之 间 的 相 
对 位 置 有 变化 ， 偶 数 元 素 亦 是 如 此 。 

1, 5, 3, 4, 2, 6， 

如 果 题 目 要 求 改 成 * 调 整数 组 顺序 使 奇数 位 于 偶数 前 面 ， 并 且 保 持 奇 数 
的 先后 顺序 不 变 ， 偶 数 的 先后 顺序 不 变 ”， 解 决 办 法 也 一 样 简单 ， 改 用 
std::stable_ partition() 即 可 ， 代 码 及 输出 如 下 : 


int oddeven[] = { 1, 2, 3, 4, 5, 6 }; 

std::stable_partition(oddeven, oddeven+6, &isOdd); 

std: :copy(oddeven, oddeven+6, std::ostream_iterator<int>(std::cout, ", ")); 
std::cout << std::endl; 

// 输出 1 3，5，2，4，6， 


注意 ，stable_partition() 的 复杂 度 较 特 殊 : 在 内 存 充足 的 情况 下 ， 开 辟 
与 原 数组 一 样 大 的 空间 ， 复 杂 度 是 O(N) 时 间 和 和 O(N) 空间; 在 内 存 不 足 的 情 
况 下 ， 要 做 in-place 位 置 调换 ， 复 杂 度 是 O(N logN) 时 间 和 O(1) 空 间 。 

类 似 的 题目 还 有 “调整 数组 顺序 使 负数 位 于 非 负 数 前 面 "?， 读 者 应 能 举 
= 


12.8.5 ”用 lower_bound0) 查 找 IP 地 址 所 属 的 城市 


题目 已 知 N 个 IP 地 址 区 间 和 它们 对 应 的 城市 名 称 ， 写 一 个 程序 ， 能 从 
IP 地 址 找到 它 所 在 的 城市 。 注 意 这 些 IP 地 址 区 间 互 不 重臣 。 

这 道 题目 的 naive 解 法 是 O(N)， 借 助 std::lower_bound0) 可 以 轻易 做 到 
O(logN) 查 找 ， 代 价 是 事先 做 一 遍 O(N logN) 的 排序 。 如 果 区 间 相 对 固定 而 查 
找 很 频繁 ， 这 么 做 是 值得 的 。 

基本 思路 是 按 了 区 间 的 首 地 址 排 好 序 ， 再 进行 二 分 查找 。 比 如 说 有 两 
个 区 间 [300, 500]、[600, 750]， 分 别 对 应 北京 和 香港 两 个 城市 ， 那 么 
std::lower_boundO 查 找 299、300、301、499、500、501、599、600、601、 
749、750、751 等 “JP 地址 ”返回 的 迭代 器 如 图 12-15 所 示 。 


301, 499 
500, 501 601, 749 
299, 300 399, 600 7190 


Beljing ”Hong Kong 
图 12-15 
我 们 需要 对 返回 的 结果 微调 〈L28~L32) ， 使 得 迭代 器 it 所 指 的 区 间 是 
唯一 有 可 能 包含 该 IP 地 址 的 区 间 ， 如 图 12-16 所 示 。 


299, 300. 301 600, 601 
499, 500, 501 749, 750 


599 751 
a 司 
end I 
SE | 
300 730 
Belling ”Hong Kong 
图 12-16 


最 后 判断 一 下 IP 地 址 是 否 位 于 这 个 区 间 就 行 了 〈L34) 。 完 整 代 码 如 
下 ， 为 了 简化 , “城市 "用 整数 表示 ，-1 表 示 未 找到 。 另 外 ， 这 个 实现 对 于 
整个 IP 地 址 空间 都 是 正确 的 ， 即 便 区 间 中 包括 [255.255.255.0， 
255.255.255.255] 这 种 边界 条 件 。 


recipes/algorithm/iprange.cc 


7 struct IPrange 


8 二 

9 uint32_t startIp; // inclusive 

10 uint32_t endIp; // inclusive 

i int value; // >= 0 

接 

13 bool operator<(const IPrange& rhs) const 
14 { 

15 return startIlp < rhs.startIp; 

16 } 

I7 2 


19 // REQUIRE: ranges is sorted. 
20 int findIpValue(const std::vector<IPrange>& ranges, uint32_t ip) 


“ 

22 int result = -1; 

23 

24 if (!Iranges.empty()) { 

25 IPrange needle = { ip, 60, 0 )}; 

26 std::vector<IPrange>: :const_iterator it 

27 = std::lower_bound(ranges.begin(), ranges.end(), needle); 
28 if (it == ranges.end()) { 

29 hh sp 

30 } else if (it != ranges.begin() && it->startIP > ip) { 
31 ==L ts 

32 } 

33 

34 if (it->startIP <= ip && it->endIp >= ip) { 

35 result = it->value; 

36 } 

37 } 

38 return result; 

39 } 


recipes/algorithm/iprange.cc 

说 明 : 如 果 IP 地 址 区 间 有 重复 ， 那 么 我 们 通常 要 用 线段 树 s 来 实现 高 交 
的 查询 。 另 外 ， 在 真实 的 场景 中 ，IP 地 址 区 间 通 常 适用 专门 的 longest prefix 
match 算 法 ， 这 会 比 本 节 的 通用 算法 更 快 。 


小 结 


想到 正确 的 思路 是 一 码 事 ， 写 出 正确 的 、 经 得 起 推敲 的 代码 是 另 一 码 
事 。 例 如 812.8.4 用 (x % 2 != 0) 来 判断 int x 是 否 :为 奇数 如 果 写 成 (x % 2 == 1) 
就 是 错 的 ， 因 为 x 可 能 是 负数 ， 负 数 的 取 模 运算 的 关 窍 见 812.3。 常 见 的 错误 
还 包括 dm (面试 题目 : 统计 文件 中 每 个 字符 出 现 的 

次 数 ) ， 但 是 没有 考虑 char 可 能 是 负数 ， 造 成 访问 越界 。 有 的 人 考虑 到 了 
char 可 能 是 负数 ， 因此 先 强制 转型 为 unsigned int 再 用 作 下 标 ， 这 仍然 是 错 


的 。 正 确 的 做 法 是 强制 转型 为 unsigned char 再 用 作 下 标 ， 这 涉及 C/C++ 整 型 
提升 的 规则 ， 就 不 详 述 了 。 这 些 细节 往往 是 面试 官 的 考察 点 s。 本 节 给 出 的 
解法 在 正确 性 方面 应 该 是 没 问 题 的 ， 在 效率 方面 ， 可 以 说 在 Big-O 意 义 下 是 
最 优 的 ， 但 不 一 定 是 运行 最 快 的 。 

另外 ， 面 试题 的 目的 可 能 就 是 让 你 动手 实现 一 些 STL 算 法 ， 例 如 求 两 个 
有 序 集 合 的 交集 (set_intersection()) 、 洗 牌 (random_shuffle()) 等 等 ， 这 
就 不 属于 本 节 所 讨论 的 范围 了 。 从 “算法 ”本 身 的 难度 上 看 ， 我 个 人 把 STL 
algorithm 分 为 三 类 ， 面 试 时 要 求 手写 的 往往 是 第 二 类 算法 。 


:容易 ， 即 闭 着 眼睛 一 想 就 知道 是 如 何 实现 的 ， 自 己 手写 一 遍 的 难度 跟 
strlen() 和 strcpy() 差 不 多 。 这 类 算法 基本 上 就 是 遍历 一 遍 输 入 区 间 ， 对 每 个 
元 素 做 些 判断 或 操作 ， 一 个 for 循 环 就 解决 问题 。 一 半 左 右 的 STL algorithm 
属于 此 类 ， 例 如 for_each()、transform()、accumulate() 等 等 。 

较 难 ， 知 道 思 路 ， 但 是 要 写 出 正确 的 实现 要 考虑 清楚 各 种 边界 条 件 。 
例如 merge()、unique()、remove()、random_shuffle()s、l]lower_bound()、 
partition() 等 等 ， 三 成 左右 的 STL algorithm 属 于 此 类 。 

. 难 ， 要 在 一 个 小 时 内 写 出 正确 的 、 健 壮 的 实现 基本 不 现实 ， 例 如 sort() 
s、nth_element(O、next_permutation0)、inplace_merge0) 等 等 ， 约 有 两 成 STL 
algorithm 属 于 此 类 。 


注意 , “容易 ” 级 别 的 算法 是 指 写 出 正确 的 实现 很 容易 ， 但 不 一 定 意味 
着 写 出 高 效 的 实现 也 同样 容易 ， 例 如 std::copy0 拷 贝 POD 类 型 的 效率 可 媲 
memcpy0， 这 需要 用 一 点 模板 技巧 。 

以 上 分 类 纯 属 个 人 主观 看 法 ， 或 许 别人 有 不 同 的 分 类 法 ， 例 如 把 
remove0O 归 入 简单 ， 把 next_permutation0 归 入 较 难 ， 把 lower_bound0 归 入 难 
二 


gcc 的 作者 明说 这 种 写法 是 undefined 的 ， 见 http://gcc.gnu.org/bugzilla/show_bug.cgi?id=39121。 
http://www.stroustrup.com/bs faq2.html#evaluation-order 

GCC 4.x 有 一 个 编译 警告 选项 -Wsequence-point 可 以 报告 这 种 错误 。 
http://www.linux-kongress.org/2009/slides/compiler survey felix von leitner.pdf 
译文 引 自 韩 舌 翻译 的 《代码 整洁 之 道 》， 笔 者 对 文字 略 有 修改 。 
http://scienceblogs.com/goodmath/2006/11/the_c is efficient language fa.php 
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第 4 部 分 
附录 


附录 A ” 谈 一 谈 网 络 编程 学 习 经 验 


本 文 谈 一 谈 我 在 学 习 网 络 编程 方面 的 一 些 个 人 经 验 。 “网 络 编程 ” 
这 个 术语 的 范围 很 广 ， 本 文 指 用 Sockets API 开 发 基于 TCP/IP 的 网 络 应 
用 程序 ， 具 体 定义 见 $A.1.5“ 网 络 编程 的 各 种 任务 角色 ”。 

受 限于 本 人 的 经 历 和 经 验 ， 本 附录 的 适应 范围 是 : 


:x86-64 Linux 服 务 端 网 络 编程 ， 直 接 或 间接 使 用 Sockets API。 
.公司 内 网 。 不 一 定 是 局 域 网 ， 但 总 体位 于 公司 防火 墙 之 内 ， 环 境 
可 控 。 


本 文 可 能 不 适合 : 


.PC 客户 端 网 络 编程 ， 程 序 运行 在 客户 的 PC 上 ， 环 境 多 变 且 不 可 
控 。 

-Windows 网 络 编程 。 

:面向 公 网 的 服务 程序 。 

.高 性 能 网 络 服务 器 。 

本 文 分 两 个 部 分 : 

1. 网 络 编程 的 一 些 “ 胡 思 乱 想 >， 以 自问 自 答 的 形式 谈 谈 我 对 这 一 
领域 的 认识 。 

2. 几 本 必 看 的 书 ， 基 本 上 还 是 W. Richard Stevents 的 那 几 本 。 


另外 ， 本 文 没有 特别 说 明 时 均 暗 指 TCP 协 议 ,“ 连 接 ” 是 “TCP 连 
接 *, “服务 端 ?是 “TCP 服 务 端 ” 


A.1 网 络 编程 的 一 些 “ 胡 思 乱 想 ” 


以 下 大 致 列 出 我 对 网 络 编程 的 一 些 想法 ， 前 后 无 关联 。 


A.1.1 网 络 编程 是 什么 


网 络 编程 是 什么 ? 是 熟练 使 用 Sockets API 吗 ? 说 实话 ， 在 实际 项 
目 里 我 只 用 过 两 次 Sockets API， 其 他 时 候 都 是 使 用 封装 好 的 网 络 库 。 

第 一 次 是 2005 年 在 学 校 做 一 个 羽毛 球赛 场 计 分 系统 : 我 用 C# 编 写 
运行 在 PC 上 的 软件 ， 负 责 比 分 的 显示 ; 再 用 C# 写 了 运行 在 PDA 上 的 计 
分 界面 ， 记 分 员 拿 着 PDA 记 录 比 分 ， 这 两 部 分 程序 通过 TCP 协 议 相 互通 
信 。 这 其 实 是 个 简单 的 分 布 式 系统 ， 体 育 馆 有 几 片 场地 ， 每 个 场地 都 
有 一 名 拿 PDA 的 记分 员 ， 每 个 场地 都 有 两 台 显 示 比 分 的 PC (显示 器 是 
42 寸 平板 电视 ， 放 在 场地 的 对 角 ， 这 样 两 边 看 台 的 观众 都 能 看 到 比 
分 ) 。 这 两 台 PC 的 功能 不 完全 一 样 ， 一 台 只 负责 显示 当前 比分 ， 另 一 
台 还 要 负责 与 PDA 通 信 ， 并 更 新 数据 库 里 的 比分 信息 。 此 外 ， 还 有 一 
台 PC 负 责 周期 性 地 从 数据 库 读 出 全 部 7 片场 地 的 比分 ， 显 示 在 体育 馆 墙 
上 的 大 屏幕 上 。 这 人 台 PC 上 还 运行 着 一 个 程序 ， 负 责 生成 比分 数据 的 静 
态 页 面 ， 通 过 FTP 上 传 发 布 到 某 门 户 网 站 的 体育 频道 。 系 统 中 还 有 一 个 
录入 赛程 (参赛 队 、 运 动员 、 出 场 顺 序 等 ) 数据 库 的 程序 ， 运 行 在 数 
据 库 服务 器 上 。 算 下 来 整个 系统 有 十 来 个 程序 ， 运 行 在 二 十 多 台 设 备 

(PC 和 PDA) 上 ， 还 要 考虑 可 靠 性 ， 避 免 single point of failure。 

这 是 我 第 一 次 写实 际 项 目 中 的 网 络 程序 ， 当 时 写 下 来 的 感觉 是 像 
写 命令 行 与 用 户 交 互 的 程序 : 程序 在 命令 行 输出 一 句 提 示 语 ， 等 待 客 
户 输入 一 句 话 ， 然 后 处 理 客户 输入 ， 再 输出 下 一 句 提 示 语 ， 如 此 循 
环 。 只 不 过 这 里 的 “客户 ”不 是 人 ， 而 是 另 一 个 程序 。 在 建立 好 TCP 连 接 
之 后 ， 双 方 的 程序 都 是 read/write 循 环 (为 求 简 单 ， 我 用 的 是 blocking 读 
写 ) ， 直 到 有 一 方 断 开 连接 。 

第 二 次 是 2010 年 编写 muduo 网 络 库 ， 我 再 次 拿 起 了 Sockets API， 写 
了 一 个 基于 Reactor 模 式 的 C++ 网 络 库 。 写 这 个 库 的 目的 之 一 就 是 想 让 
日 常 的 网 络 编 程 从 Sockets API 的 琐碎 细节 中 解脱 出 来 ， 让 程序 员 专 注 
于 业务 逻辑 ， 把 时 间 用 在 刀刃 上 。muduo 网 络 库 的 示例 代码 包含 了 几 十 
个 网 络 程序 ， 这 些 示例 程序 都 没有 直接 使 用 Sockets API。 


在 此 之 外 ， 无 论 是 实习 还 是 工作 ， 虽 然 我 写 的 程序 都 会 通过 TCP 协 
议 与 其 他 程序 打交道 ， 但 我 没有 直接 使 用 过 Sockets API。 对 于 TCP 网 络 
编程 ， 我 认为 核心 是 处 理 “ 三 个 半 事 件 ”， 见 86.4.1“TCP 网 络 编程 本 质 
论 ”。 程 序 员 的 主要 工作 是 在 事件 处 理 亢 数 中 实现 业务 逻辑 ， 而 不 是 和 
Sockets APT“ 较 劲 ”。 

这 里 还 是 没有 说 清楚 “网 络 编程 是 什么 ， 请 继续 阅读 后 文 
SA.1.5“ 网 络 编程 的 各 种 任务 角色 ” 


A.1.2 ”学 习 网 络 编程 有 用 吗 


以 上 说 的 是 比较 底层 的 网 络 编程 ， 程 序 代 码 直接 面 对 从 TCP 或 UDP 
收 到 的 数据 以 及 构造 数据 包 发 出 去 。 在 实际 工作 中 ， 另 一 种 常见 的 情 
况 是 通过 各 种 client library 来 与 服务 端 打交道 ， 或 者 在 现成 的 框架 中 填 
空 来 实现 server， 或 者 采用 更 上 层 的 通信 方式 。 比 如 用 libmemcached 与 
memcached 打 交道 ， 使 用 libpdq 来 与 PostgreSQL 打 交道 ， 编 写 Servlet 来 响 
应 HTTP 请 求 ， 使 用 某 种 RPC 与 其 他 进程 通信 ， 等 等 。 这 些 情况 都 会 发 
生 网 络 通信 ， 但 不 一 定 算 作 “网 络 编 程 >。 如 果 你 的 工作 是 前 面 列举 的 
这 些 ， 学 习 TCP/PP 网 络 编程 还 有 用 吗 ? 

我 认为 还 是 有 必要 学 一 学 ， 至 少 在 troubleshooting 的 时 候 有 用 。 无 
论 如 何 ， 这 些 library 或 framework 都 会 调用 底层 的 Sockets API 来 实现 网 
络 功能 。 当 你 的 程序 遇 到 一 个 线 上 问题 时 ， 如 果 你 熟悉 Sockets APIL， 
那么 从 strace 不 难 发 现 程序 卡 在 哪里 ， 尽 管 可 能 你 没有 直接 调用 这 些 
Sockets API。 另 外 ， 熟 悉 TCP/IP 协 议 、 会 用 tcpdump 也 非常 有 助 于 分 析 
解决 线 上 网 络 服务 问题 。 


A.1.3 ”在 什么 平台 上 学 习 网 络 编程 


对 于 服务 端 网 络 编程 ， 我 建议 在 Linux 上 学 习 。 

如 果 在 10 年 前 ， 这 个 问题 的 答案 或 许 是 FreeBSD， 因 为 
FreeBSD“ 根 正 苗 红 ”， 在 2000 年 那 一 次 互联 网 浪潮 中 扮演 了 重要 角色 ， 
是 很 多 公司 首选 的 免费 服务 器 操作 系统 。2000 年 那 会 儿 Linux 还 远 未 成 


熟 ， 连 epoll 都 还 没有 实现 。 (FreeBSD 在 2001 年 发 布 4.1 版 ， 加 入 了 
kqueue， 从 此 C10k 不 是 问题 。) 

10 年 后 的 今天 ， 事 情 起 了 一 些 变 化 ，Linux 成 为 市 场 份额 最 大 的 服 
务 器 操作 系统 :。 在 Linux 这 种 大 众 系统 上 学 网 络 编程 ， 遇 到 什么 问题 会 
比较 容易 解决 。 因 为 用 的 人 多 ， 你 遇 到 的 问题 别人 多 半 也 遇 到 过 ; 同 
样 因为 用 的 人 多 ， 如 果真 的 有 什么 内 核 bug， 人 很 快 就 会 得 到 修复 ， 至 少 
有 work around 的 办 法 。 如 果 用 别 的 系统 ， 可 能 一 个 问题 发 到 论坛 上 半 
个 月 都 不 会 有 人 理 。 从 内 核 源 码 的 风格 看 ，FreeBSD 更 干净 整洁 ， 注 释 
到 位 ， 但 是 无 奈 它 的 市 场 份额 远 不 如 Linux， 学 习 Linux 是 更 好 的 技术 投 
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A.1.4 可 移植 性 重要 吗 


写 网 络 程序 要 不 要 考虑 移植 性 ?要 不 要 跨 平 台 ? 这 取决 于 项 目 需 
要 ， 如 果 贵 公司 做 的 程序 要 卖 给 其 他 公司 ， 而 对 方 可 能 使 用 Windows、 
Linux、FreeBSD、Solaris、AIX、HP-UX 等 等 操作 系统 ， 这 时 候 当 然 要 
考虑 移植 性 。 如 果 编 写 公 司 内 部 的 服务 器 上 用 的 网 络 程序 ， 那 么 大 可 
只 关注 一 个 平台 ， 比 如 Linux。 因 为 编写 和 维护 可 移植 的 网 络 程序 的 代 
价 相 当 高 ， 平 台 间 的 差异 可 能 远 比 想象 中 大 ， 即 便 是 POSIX 系 统 之 间 
也 有 不 小 的 差异 (比如 Linux 没 有 SO_NOSIGPIPE 选 项 ，Linux 的 pipe(2) 
是 单 向 的 ， 而 FreeBSD 是 双向 的 ) ， 错 误 的 返回 码 也 大 不 一 样 。 

我 就 不 打算 把 muduo 往 windows 或 其 他 操作 系统 移植 。 如 果 需 要 编 
写 可 移植 的 网 络 程序 ， 我 宁愿 用 libevent、1libuv、Java Netty 这 样 现成 的 
库 ， 把 * 脏 活 、 累 活 ” 留 给 别人 。 


A.1.5 网络 编程 的 各 种 任务 角色 


计算 机 网 络 是 个 big topic， 涉 及 很 多 人 物 和 角色 ， 既 有 开发 人 员 ， 
也 有 运 维 人 员 。 上 比方 说 : 公司 内 部 两 人 台 机 器 之 间 ping 不 通 ， 通 常 由 网 络 
运 维 人 员 解 决 ， 看 看 是 布线 有 问题 还 是 路 由 器 设置 不 对 ， 两 人 台 机 器 能 
ping 通 ， 但 是 程序 连 不 上 ， 经 检查 是 本 机 防火 墙 设置 有 问题 ， 通 常 由 系 


统管 理 员 解 决 ， 两 台 机 器 能 连 上 ,但 是 丢 包 很 严重 ， 发 现 是 网 卡 或 者 
交换 机 的 网 口 故 障 ， 由 硬件 维修 人 员 解 决 ， 两 台 机 器 的 程序 能 连 上 ， 
但 是 偶尔 发 过 去 的 请 求 得 不 到 响应 ， 通 常 是 程序 bug， 应 该 由 开发 人 员 
解决。 

本 文 主 要 关心 开发 人 员 这 一 角色 。 下 面 简 单列 出 一 些 我 能 想到 的 
跟 网 络 打 交道 的 编程 任务 ， 其 中 前 三 项 是 面向 网 络 本 身 ， 后 面 几 项 是 
在 计算 机 网 络 之 上 构建 信息 系统 。 


1. 开发 网 络 设 备 ， 编 写 防火 墙 、 交 换 机 、 路 由 器 的 固件 
(firmware) 。 

2. 开发 或 移植 网 卡 的 驱动 。 

3. 移植 或 维护 TCP/IP 协 议 栈 《特别 是 在 嵌入 式 系统 上 ) 。 

4. 开发 或 维护 标准 的 网 络 协议 程序 ,HTTP、FTP、DNS、 
SMTP、 POP3、NFS。 

5. 开发 标准 网 络 协议 的 “附加 品 >， 比 如 HAProxy、squid、varnish 
等 Web load balancer。 

6. 开发 标准 或 非 标准 网 络 服务 的 客户 端 库 ， 比 如 ZooKeeper 客 户 
端 库 、memcached 客 户 端 库 。 

7. 开发 与 公司 业务 直接 相关 的 网 络 服务 程序 ， 比 如 即时 聊天 软件 
的 后 台 服 务 器 、 网 游 服 务 器 、 金 融 交 易 系统 、 互 联网 企业 用 的 分 布 式 
海量 存储 、 微 博 发 帖 的 内 部 广播 通知 等 等 。 

8. 客户 端 程序 中 涉及 网 络 的 部 分 ， 比 如 邮件 客户 端 中 与 POP3、 
SMTP 通 信 的 部 分 ， 以 及 网 游 的 客户 端 程 序 中 与 服务 器 通信 的 部 分 。 


本 文 所 指 的 “网 络 编程 ” 专 指 第 7 项 ， 即 在 TCP/IP 协 议 之 上 开发 业务 
软件 。 换 句 话 说 ， 不 是 用 Sockets API 开 发 muduo 这 样 的 网 络 库 ， 而 是 用 
libevent、muduo、Netty、 gevent 这 样 现成 的 库 开发 业务 软件 ，muduo 自 
带 的 十 几 个 示例 程序 是 业务 软件 的 代表 。 


A.1.6 面向 业务 的 网 络 编程 的 特点 


与 通用 的 网 络 服务 器 不 同 ， 面 向 公司 业务 的 专用 网 络 程序 有 其 自 
身 的 特点 。 

业务 逻辑 比较 复杂 ， 而 且 时 常 变 化 ”如果 写 一 个 HTTP 服 务 器 ,在 
大 致 实现 HTTP 1.1 标 准 之 后 ， 程 序 的 主体 功能 一 般 不 会 有 太 大 的 变 
化 ， 程 序 员 会 把 时 间 放 在 性 能 调 优 和 bug 修 复 上 。 而 开发 针对 公司 业务 
的 专用 程序 时 ， 功 能 说 明 书 (spec) 很 可 能 不 如 HTTP 1.1 标 准 那么 细致 
明确 。 更 重要 的 是 ， 程 序 是 快速 演化 的 。 以 即时 聊天 工具 的 后 台 服 务 
器 为 例 ， 可 能 第 一 版 只 支持 在 线 聊 天 ; 几 个 月 之 后 发 布 第 二 版 ， 支 持 
离线 消息 ;又 过 了 几 个 月 ， 第 三 版 支持 隐身 聊天 ; 随后 ， 第 四 版 支持 
上 传 头像 ;如 此 等 等 。 这 要 求 程序 员 能 快速 响应 新 的 业务 需求 ， 公 司 
才能 保持 竞争 力 。 由 于 业务 时 常 变化 (假设 每 月 一 次 版 本 升级 ) ， 也 
会 降低 服务 程序 连续 运行 时 间 的 要 求 。 相 反 ， 我 们 要 设计 一 套 流程 ， 
通过 轮流 重启 服务 器 来 完成 平滑 升级 (89.2.2) 。 

不 一 定 需 要 遵循 公认 的 通信 协议 标准 ”比方 说 网 游 服 务 器 就 没 什 
么 协议 标准 ， 反 正 客户 端 和 服务 端 都 是 本 公司 开发 的 ， 如 果 发 现 目前 
的 协议 设计 有 问题 ， 两 边 一 起 改 就 行 了 。 由 于 可 以 自己 设计 协议 ， 
此 我 们 可 以 绕 开 一 些 性 能 难点 ， 简 化 程序 结构 。 比 方 说 ， 对 于 多 线程 
的 服务 程序 ， 如 果 用 短 连 接 TCP 协 议 ， 为 了 优化 性 能 通常 要 精心 设计 
accept 新 连接 的 机 制 :， 避 免 惊 群 并 减少 上 下 文 切换 。 但 是 如 果 改 用 长 
连接 ， 用 最 简单 的 单线 程 accept 就 行 了 。 

程序 结构 没有 定论 对 于 高 并 发 大 吞吐 的 标准 网 络 服务 ， 一 般 采 
用 单线 程 事件 驱动 的 方式 开发 ， 比 如 HAProxy、lighttpd 等 都 是 这 个 模 
式 。 但 是 对 于 专用 的 业务 系统 ， 其 业务 逻辑 比较 复杂 ， 占 用 较 多 的 
CPU 资 源 ， 这 种 单线 程 事 件 驱 动 方式 不 见得 能 发 挥 现在 多 核 处 理 器 的 
优势 。 这 留 给 程序 员 比 较 大 的 自由 发 挥 空间 ， 做 好 了 “横扫 千 军 ”， 做 
烂 了 一 败 涂 地 。 我 认为 目前 one loop per thread 是 通用 性 较 高 的 一 种 程序 
结构 ， 能 发 挥 多 核 的 优势 ， 见 $3.3 和 86.6。 

性 能 评判 的 标准 不 同 ”如 果 开 发 httpd 这 样 的 通用 服务 ， 必 然 会 和 
开源 的 Nginx、lighttpd 等 高 性 能 服务 器 比较 ， 程 序 员 要 投入 相当 的 精力 
去 优化 程序 ， 才 能 在 市 场 上 占有 一 席 之 地 。 而 面向 业务 的 专用 网 络 程 


序 不 一 定 是 IO bound， 也 不 一 定 有 开源 的 实现 以 供 对 比 性 能 ， 优 化 方向 
也 可 能 不 同 。 程 序 员 通 单 更 加 注重 功能 的 稳定 性 与 开发 的 便捷 性 。 性 
能 只 要 一 代 比 一 代 强 即 可 。 

网 络 编程 起 到 支撑 作用 ， 但 不 处 于 主导 地 位 ”程序 员 的 主要 工作 
是 实现 业务 逻辑 ， 而 不 只 是 实现 网 络 通信 协议 。 这 要 求 程序 员 深 入 理 
解 业务 。 程 序 的 性 能 瓶颈 不 一 定 在 网 络 上 ,瓶颈 有 可 能 是 CPU、Disk 
IO、 数 据 库 等 ， 这 时 优化 网 络 方面 的 代码 并 不 能 提高 整体 性 能 。 只 有 
对 所 在 的 领域 有 深入 的 了 解 ， 明 白 各 种 因素 的 权衡 (trade-off) ， 才 能 
做 出 一 些 有 针对 性 的 优化 。 现 在 的 机 器 上 ， 简 单 的 并 发 长 连接 echo 服 
务 程序 不 用 特别 优化 就 做 到 十 多 万 qps， 但 是 如 果 每 个 业务 请 求 需要 
lms 密 集 计 算 ， 在 8 核 机 器 上 充其量 能 达到 8000qps， 优 化 IO 不 如 去 优化 
业务 计算 《如 果 投 入 产 出 合算 的 话 ) 。 


A.1.7 几 个 术语 


互联 网 上 的 很 多 “口水 战 "是 由 对 同一 术语 的 不 同 理解 引起 的 ， 比 
如 我 写 的 《多 线程 服务 器 的 适用 场合 》:， 就 曾经 被 人 说 是 “ 挂 手 头 卖 狗 
肉 ”， 因 为 这 篇 文章 中 举 的 master 例 子 “ 根 本 就 算 不 上 是 个 网 络 服务 器 。 
因为 它 的 瓶颈 根本 融 跟 了 网络 无 天 。” 

网 络 服务 器 “网 络 服务 器 ”这 个 术语 确实 含义 模糊 ， 到 底 指 硬件 
还 是 软件 ”到 底 是 服务 于 网 络 本 身 的 机 器 (交换 机 、 路 由 器 、 防 火 
墙 、NAIT) ， 还 是 利用 网 络 为 其 他 人 或 程序 提供 服务 的 机 器 (打印 服 
务 器 、 文 件 服务 器 、 邮 件 服务 器 ) ? 每 个 人 根据 自己 熟悉 的 领域 ， 可 
能 会 有 不 同 的 解读 。 比 方 说 ， 或 许 有 人 认为 只 有 支持 高 并 发 、 高 吞吐 
量 的 才 算是 网 络 服务 器 。 

为 了 避免 无 谓 的 争执 ， 我 只 用 “网 络 服务 程序 ”或 者 “网 络 应 用 程序 ” 
这 种 含义 明确 的 术语 。“ 开 发 网 络 服 务 程序 ”通常 不 会 造成 误解 。 

客户 端 ? 服务 端 ? ”在 TCP 网 络 编程 中 ， 客 户 端 和 服务 端 很 容易 
区 分 ， 主 动 发 起 连接 的 是 客户 端 ， 被 动 接受 连接 的 是 服务 端 。 当 然 ， 


这 个 “客户 端 ” 本 身 也 可 能 是 个 后 人 台 服 务 程序 ，HTTP proxy 对 HTTP 
server 来 说 就 是 个 客户 端 。 

客户 端 编程 ? 服务 端 编程 ? ”但 是 “服务 端 编程 ?和 “客户 端 编程 ” 
就 不 那么 好 区 分 了 。 比 如 Web crawler， 它 会 主动 发 起 大 量 连 接 ， 扮 演 
的 是 HTTP 客 户 端的 角色 ， 但 似乎 应 该 归 入 “服务 端 编程 ” 又 比如 写 一 
个 HTTP proxy， 它 既 会 扮演 服务 端 被 动 接 受 Web browser 发 起 的 连 
接 ， 也 会 扮演 客户 端 -一 主动 向 HTTP server 发 起 连接 ， 它 究竟 算 服 务 
端 还 是 客户 端 ? 我 猜 大 多 数 人 会 把 它 归 入 服务 端 编程 。 

那么 究竟 如 何 定义 “服务 端 编程 ”? 

服务 端 编 程 需要 处 理 大 量 并 发 连接 ? 也许 是 ， 也 许 不 是 。 比 如 云 
风 在 一 篇 介绍 网 游 服 务 器 的 博客 :中 就 谈 到 ， 网 游 中 用 到 的 “连接 服务 
器 ”需要 处 理 大 量 连接 ， 而 “逻辑 服务 器 ”只 有 一 个 外 部 连接 。 那 么 开发 
这 种 网 游 “ 远 辑 服务 器 ” 算 服 务 端 编程 还 是 客户 端 编程 呢 ? 又 比如 机 房 
的 服务 进程 监控 软件 ， 并 发 数 跟 机 器 数 成 正比 ， 至 多 也 就 是 两 三 干 的 
并 发 连接 。 (再 大 规模 就 超出 本 书 的 范围 了 。) 

我 认为 , “服务 端 网 络 编程 ? 指 的 是 编写 没有 用 户 界 面 的 长 期 运行 
的 网 络 程序 ， 程 序 默默 地 运行 在 一 台 服 务 器 上 ， 通 过 网 络 与 其 他 程序 
打交道 ， 而 不 必 和 人 打交道 。 与 之 对 应 的 是 客户 端 网 络 程序 ， 要 么 是 
短 时 间 运 行 ， 比 如 wget; 要 么 是 有 用 户 界 面 (无 论 是 字符 界面 还 是 图 
形 界面 ) 。 本 文 主要 谈 服 务 端 网 络 编程 。 


A.1.8 7x24 重 要 吗 ， 内 存 碎片 可 怕 吗 


一 谈 到 服务 端 网 络 编程 ， 有 人 立刻 会 提出 7x24 运 行 的 要 求 。 对 于 
某 些 网 络 设备 而 言 ， 这 是 合理 的 需求 ， 比 如 交换 机 、 路 由 器 。 对 于 开 
发 商业 系统 ， 我 认为 要 求 程序 7x24 运 行 通常 是 系统 设计 上 考虑 不 周 。 
具体 见 本 书 $9.2“ 分 布 式 系统 的 可 靠 性 浅说 ”。 重 要 的 不 是 7x24， 而 是 在 
程序 不 必 做 到 7x24 的 情况 下 也 能 达到 足够 高 的 可 用 性 。 一 个 考虑 周到 
的 系统 应 该 允许 每 个 进程 都 能 随时 重启 ， 这 样 才能 在 廉价 的 服务 器 硬 
件 上 做 到 高 可 用 性 。 


既然 不 要 求 7x24， 那 么 也 不 必 害 怕 内 存 人 碎片 大 ， 理 由 如 下 : 


.64-bit 系 统 的 地 址 空间 足够 大 ， 不 会 出 现 没有 足够 的 连续 空间 这 种 
情况 。 有 没有 谁 能 够 故意 制造 内 存 碎 片 (不 是 内 存 港 漏 ) 使 得 服务 程 
序 失 去 响应 ? 

.现在 的 内 存 分 配器 (malloc 及 其 第 三 方 实现 ) 今 非 苦 比 ， 除 了 
memcached 这 种 纯 以 内 存 为 卖点 的 程序 需要 自己 设计 分 配器 之 外 ， 其 他 
网 络 程序 大 可 使 用 系统 自 带 的 malloc 或 者 某 个 第 三 方 实现 。 重 新 发 明 
memory pool 似 乎 已 经 不 流行 了 (812.2.8) 。 

-Linux Kernel 也 大 量 用 到 了 动态 内 存 分 配 。 有 既然 操作 系统 内 核 都 不 
怕 动 态 分 配 内 存 造成 碎片 ， 应 用 程序 为 什么 要 害怕 ? 应 用 程序 的 可 靠 
性 只 要 不 低 于 硬件 和 操作 系统 的 可 靠 性 就 行 。 普 通 PC 服 务 器 的 年 故障 
率 约 为 3%~5%， 算 一 算 你 的 服务 程序 一 年 要 被 意外 重启 多 少 次 。 

-内存 帮 片 如 何 度 量 ? 有 没有 什么 工具 能 为 当前 进程 的 内 存 碎片 状 
况 评 个 分 ? 如 果 不 能 比较 两 种 方案 的 内 存 碎 片 程 度 ， 谈 何 优化 ? 


有 人 为 了 避免 内 存 碎 片 ， 不 使 用 STL 容 器 ， 也 不 敢 new/delete， 这 
算是 premature optimization 还 是 因 嘲 废 食 呢 ? 


A.1.9 协议 设计 是 网 络 编程 的 核心 


对 于 专用 的 业务 系统 ， 协 议 设 计 是 核心 任务 ， 决 定 了 系统 的 开发 
难度 与 可 靠 性 ， 但 是 这 个 领域 还 没有 形成 大 家 公认 的 设计 流程 。 

系统 中 哪个 程序 发 起 连接 ， 哪 个 程序 接受 连接 ? 如 果 写 标准 的 网 
络 服务 ， 那 么 这 不 是 问题 ， 按 RFC 来 就 行 了 。 自 己 设计 业务 系统 ， 有 
没有 章法 可 循 ? 以 网 游 为 例 ， 到 底 是 连接 服务 器 主动 连接 逻辑 服务 
器 ， 还 是 逻辑 服务 器 主动 连接 “连接 服务 器 ”? 似乎 没有 定论 ， 两 种 做 
法 都 行 。 一 般 可 以 按照 “依赖 -被 依赖 * 的 关系 来 设计 发 起 连接 的 方 
向 。 

比 新 建 连接 难 的 是 关闭 连接 。 在 传统 的 网 络 服 务 中 (特别 是 短 连 
接 服务 ) ， 不 少 是 服务 端 主动 关闭 连接 ， 比 如 daytime、HTTP 1.0。 也 


少 部 分 是 客户 端 主动 关闭 连接 ， 通 常 是 些 长 连接 服务 ， 比 如 echo、 
chargen 等 。 我 们 自己 的 业务 系统 该 如 何 设计 连接 关闭 协议 呢 ? 

服务 端 主动 关闭 连接 的 缺点 之 一 是 会 多 占用 服务 器 资源 。 服 务 端 
主动 关闭 连接 之 后 会 进入 TIME_WAIT 状 态 ， 在 一 段 时 间 之 内 持 有 
(hold) 一 些 内 核资 源 。 如 果 并 发 访问 量 很 高 ， 就 会 影响 服务 端的 处 理 
能 力 。 这 似乎 暗示 我 们 应 该 把 协议 设计 为 客户 端 主动 关闭 ， 让 
TIME_WAIT 状 态 分 散 到 多 人 台 客 户 机 器 上 ， 化 整 为 零 。 

这 又 有 另外 的 问题 : 客户 端 赖 着 不 走 怎么 办 ? 会 不 会 造成 拒绝 服 
务 攻 击 ? 或 许 有 一 个 二 者 结合 的 方案 : 客户 端 在 收 到 响应 之 后 就 应 该 
主动 关闭 ， 这 样 把 TIME_WAIT 留 在 客户 端 (s)。 服 务 端 有 一 个 定时 器 ， 
如 果 客 户 端 若干 秒 之 内 没有 主动 断 开 ， 就 踢 掉 它 。 这 样 善意 的 客户 端 
会 把 TIME_WAIT 留 给 自己 ，buggy 的 客户 端 会 把 TIME_WAIT 留 给 服务 
端 。 或 者 干脆 使 用 长 连接 协议 ， 这 样 可 避免 频繁 创建 、 销 毁 连 接 。 

比 连 接 的 建立 与 断 开 更 重要 的 是 设计 消息 协议 。 消 息 格 式 很 好 
办 ，XML、JSON、Protobuf 都 是 很 好 的 选择 ; 难 的 是 消息 内 容 。 一 个 
消息 应 该 包含 哪些 内 容 ? 多 个 程序 相互 通信 如 何 避 免 race condition? 

( 见 此 处 举 的 例子 ) 外 部 事件 发 生 时 ， 网 络 消息 应 该 发 snapshot 还 是 
delta? 新 增 功 能 时 ， 各 个 组 件 如 何平 滑 升级 ? 

可 惜 这 方面 可 供 参 考 的 例子 不 多 ， 也 没有 太 多 通用 的 指导 原则 ， 
我 知道 的 只 有 30 年 前 提出 的 end-to-end principle 和 happens-before 
relationship。 只 能 从 实践 中 慢 慢 积 累 了 。 


A.1.10 “网络 编程 的 三 个 层次 


侯 捷 先生 在 《漫谈 程序 员 与 编程 》: 中 讲 到 STL 运 用 的 三 个 档次 : 
“会 用 STL， 是 一 种 档次 。 对 STL 原 理 有 所 了 解 ， 又 是 一 个 档次 。 追 踪 
过 STL 源 码 ， 又 是 一 个 档次 。 第 三 种 档次 的 人 用 起 STL 来 ， 虎 虎 生 风 之 
势 绝 非 第 一 档次 的 人 能 够 望 其 项 背 。” 

我 认为 网 络 编程 也 可 以 分 为 三 个 层次 : 


1. 读 过 教程 和 文档 ， 做 过 练习 ; 
2. 熟悉 本 系统 TCP/IP 协 议 栈 的 脾气 ; 
3. 自己 写 过 一 个 简单 的 TCP/IP stack。 


第 一 个 层次 是 基本 要 求 ， 读 过 《UNIX 网 络 编程 》 这 样 的 编程 教 
材 ， 读 过 《TCP/IP 详 解 》 并 基本 理解 TCP/IP 协 议 ， 读 过 本 系统 的 
manpage。 在 这 个 层次 ， 可 以 编写 一 些 基 本 的 网 络 程序 ， 完 成 常见 的 任 
务 。 但 网 络 编程 不 是 照 猫 画 虎 这 么 简单 ， 若 是 按照 manpage 的 功能 描述 
就 能 编写 产品 级 的 网 络 程序 ， 那 人 生 就 太 幸 福 了 。 

第 二 个 层次 ， 熟 悉 本 系统 的 TCP/IP 协 议 栈 参 数 设 置 与 优化 是 开发 
高 性 能 网 络 程序 的 必 备 条 件 。 摸 透 协议 栈 的 脾气 ， 还 能 解决 工作 中 遇 
到 的 比较 复杂 的 网 络 问题 。 拿 Linux 的 TCP/IP 协 议 栈 来 说 : 


1. 有 可 能 出 现 TCP 自 连接 (self-connection) :， 程 序 应 该 有 所 准 
备 。 

2. Linux 的 内 核 会 有 bug， 比 如 某 种 TCP 拥 塞 控 制 算法 曾经 出 现 
TCP window clamping (窗口 箱 位 ) bug， 导 致 吞吐 量 暴跌 ， 可 以 选用 其 
他 拥塞 控制 算法 来 绕 开 (work around) 这 个 问题 。 


这 些 “ 阴 暗 角落 ”在 manpage 里 没有 描述 ， 要 通过 其 他 渠道 了 解 。 

编写 可 靠 的 网 络 程序 的 关键 是 熟悉 各 种 场景 下 的 error code (文件 
首 述 符 用 完了 如 何 ? 本 地 ephemeral port 暂 时 用 完 ， 不 能 发 起 新 连接 怎 
么 办 ? 服务 端 新 建 并 发 连接 太 快 ，backlog 用 完了 ， 客 户 端 connect 会 返 
回 什 么 错误 ? ) ， 有 的 在 manpage 里 有 描述 ， 有 的 要 通过 实践 或 阅读 源 
码 获 得 。 

第 三 个 层次 ， 通 过 自己 写 一 个 简单 的 TCP/IP 协 议 栈 ， 能 大 大 加 深 
对 TCP/IP 的 理解 ， 更 能 明白 TCP 为 什么 要 这 么 设计 ， 有 哪些 因素 制约 ， 
每 一 步 操作 的 代价 是 什么 ， 写 起 网 络 程序 来 更 是 成 竹 在 胸 。 

其 实 实现 TCP/P 只 需要 操作 系统 提供 三 个 接口 函数 : 一 个 函数 ， 
两 个 回调 了 国 数 。 分 别 是 : send_packet()、on_receive_packet()、 


on_timer()。 多 年 前 有 一 篇 文章 《使 用 libnet 与 libpcap 构 造 TCP/IP 协 议 软 
件 》 介 绍 了 在 用 户 态 实现 TCP/P 的 方法 。1lwIP 也 是 很 好 的 借鉴 对 象 。 

如 果 有 时 间 ， 我 打算 自己 写 一 个 Mini/Tiny/TowTrivial/Yet-Another 
TCP/IP。 我 准备 换 一 个 思路 ， 用 TUN/TAP 设 备 在 用 户 态 实现 一 个 能 与 
本 机 点 对 点 通信 的 TCP/IP 协 议 栈 ( 见 本 书 附录 D) ， 这 样 那 三 个 接口 函 
数 就 表现 为 我 最 熟悉 的 文件 读 写 。 在 用 户 态 实现 的 好 处 是 便于 调试 ， 
协议 栈 做 成 静态 库 ， 与 应 用 程序 链接 到 一 起 ( 库 的 接口 不 必 是 标准 的 
Sockets API) 。 写 完 这 一 版 协议 栈 ， 还 可 以 继续 发 挥 ， 用 FTDI 的 USB- 
SPI 接 口 心 片 连 接 ENC28J60 适 配器 ， 做 一 个 真正 独立 于 操作 系统 的 
TCP/IP stack。 如果 只 实现 最 基本 的 IP、ICMP Echo、TCP， 代 码 应 能 控 
制 在 3000 行 以 内 ;也 可 以 实现 UDP， 如 果 应 用 程序 需要 用 到 DNS 的 
话 。 


A.1.11 最 主要 的 三 个 例子 


我 认为 TCP 网 络 编程 有 三 个 例子 最 值得 学 习 研 究 ， 分 别 是 echo、 
chat、Pproxy， 都 是 长 连接 协议 。 

echo 的 作用 : 丈 悉 服务 端 被 动 接受 新 连接 、 收 发 数据 、 被 动 处 理 
连接 断 开 。 每 个 连接 是 独立 服务 的 ， 连 接 之 间 没 有 关联 。 在 消息 内 容 
方面 echo 有 一 些 变种 : 比如 做 成 一 问 一 答 的 方式 ， 收 到 的 请 求 和 发 送 
响应 的 内 容 不 一 样 ， 这 时 候 要 考虑 打包 与 拆 包 格式 的 设计 ， 进 一 步 还 
可 以 写 简单 的 HTTP 服 务 。 

chat 的 作用 : 连接 之 间 的 数据 有 交流 ， 从 a 收 到 的 数据 要 发 给 bp。 这 
样 对 连接 管理 提出 了 更 高 的 要 求 : 如 何 用 一 个 程序 同时 处 理 多 个 连 
接 ? fork()-per-connection 似 乎 是 不 行 的 。 如 何 防 止 串 话 ? b 有 可 能 随 时 
断 开 连接 ， 而 新 建立 的 连接 c 可 能 恰好 复 用 了 b 的 文件 描述 符 ， 那 么 a 会 
不 会 错误 地 把 消息 发 给 c? 

proxy 的 作用 : 连接 的 管理 更 加 复杂 : 既 要 被 动 接受 连接 ， 也 要 主 
动 发 起 连接 ; 既 要 主动 关闭 连接 ， 也 要 被 动 关闭 连接 。 还 要 考虑 两 边 
速度 不 匹配 (87.13) 。 


这 三 个 例子 功能 简单 ， 突 出 了 TCP 网 络 编程 中 的 重点 问题 ， 挨 着 做 
一 遍 基 本 就 能 达到 层次 一 的 要 求 。 


A.1.12 ”学 习 Sockets API 的 利器 : IPython 


我 在 编号 muduo 网 络 库 的 时 候 ， 写 了 一 个 命令 行 交 互 式 的 调试 工具 
1， 方便 试 验 各 个 Sockets API 的 返回 时 机 和 返回 值 。 后 来 发 现 其 实 可 以 
用 IPython 达 到 相同 的 效果 ， 不 必 自 己 编程 。 用 交互 式 工具 很 快 就 能 摸 
清 各 种 IO 事件 的 发 生 条 件 ， 比 反复 编译 C 代 码 高 效 得 多 。 比 方 说 想 简单 
试验 一 下 TCP 服 务 器 和 epoll， 可 以 这 么 写 : 
$ ipython 
In [1]: import socket, select 
In [2]: s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
In [3]: s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) 
In [4]: s.bind(('’', 5000)) 


In [5]: s.listen(5) 
In [6]: client，address = s.accept() # client.fileno() == 4 


In [7]: client.recv(1024) # 此 处 会 阻塞 
Out[7]: 'Hello\n’ 


In [8]: epoll = Select.epoll() 
In [9]: epoll.register(client.fileno()，select.EPOLLIN) # 试 试 省 略 第 二 个 参数 


In [16]: epol1.pol1(60) # 此 处 会 阻塞 
Out[10]: [(4, 1)] # 表示 第 4 号 文件 可 读 (select.EPOLLIN == 1) 


In [11]: client.recv(1624) # 已 经 有 数据 可 读 ， 不 会 阻塞 了 
Out[11]: 'World\n’ 


In [12]: client.setblocking(6) # 改 为 非 阻塞 方式 
In [13]: client.recv(1024) # 没有 数据 可 读 ， 立 刻 返 回 ， 错 误 码 EAGAIN == 11 
error: [Errno 11] Resource temporarily unavailable 


In [14]: epoll.poll1(60) # epol1_wait() 一 下 
Out[14]: [(4, 1)] 


In [15]: client.recv(1024) # 再 去 读数 据 ， 立 刻 返 回 结果 
Out[15]: 'Bye!\n’ 


In [16]: client.close() 


同时 在 另 一 个 命令 行 窗 口 用 nc 发 送 数据 : 
$ nc localhost 5000 
Hello <enter> 
World <enter> 
Bye! <enter> 


在 编写 muduo 的 时 候 ， 我 一 般 会 开 四 个 命令 行 窗口 ， 其 一 看 log， 
其 二 看 strace， 其 三 用 netcat/tempest/ipython 充 作 通 信 对 方 ， 其 四 看 
tcpdump。 各 个 工具 的 输出 相互 验证 ， 很 快 就 摸 清 了 门道 。muduo 是 一 
个 基于 Reactor 模 式 的 Linux C++ 网 络 库 ， 采 用 非 阻塞 TO ， 支 持 高 并 发 和 
多 线程 ， 核 心 代码 量 不 大 〈4000 多 行 ) ， 示 例 丰 富 ， 可 供 网 络 编程 的 
学 习 者 参考 。 


A.1.13” TCP 的 可 靠 性 有 多 高 


TCP 是 “面向 连接 的 、 可 靠 的 、 字 节 流 传输 协议 "， 这 里 的 “可 靠 ” 究 
竟 是 什么 意思 ? 《Effective TCP/IP Programming》 第 9 条 说 : “Realize 
That TCP Is a Reliable Protocol Not an Infallible Protocol”， 那 么 TCP 在 哪 
种 情况 下 会 出 错 ? 这 里 说 的 “出 错 ” 指 的 是 收 到 的 数据 与 发 送 的 数据 不 
一 致 ， 而 不 是 数据 不 可 达 。 

我 在 87.5“ 一 种 自动 反射 消息 类 型 的 Google Protobuf 网 络 传输 方案 ” 
中 设计 了 带 check sum 的 消息 格式 ， 很 多 人 表示 不 理解 ， 认 为 是 多 余 
的 。IP header 中 有 check sum，TCP header 也 有 check sum， 链 路 层 以 太 
网 还 有 CRC32 校 验 ， 那 么 为 什么 还 需要 在 应 用 层 做 校 验 ? 什么 情况 下 
TCP 传 送 的 数据 会 出 错 ? 

IP header 和 TCP header 的 checksum 是 一 种 非常 弱 的 16-bit check sum 
算法 ， 其 把 数据 当成 反 码 表示 的 16-bit integers， 再 加 到 一 起 。 这 种 
checksum 算 法 能 检 出 一 些 简单 的 错误 ， 而 对 某 些 错误 无 能 为 力 。 由 于 
是 简单 的 加 法 ， 遇 到 “和 (sum) ”不 变 的 情况 就 无 法 检查 出 错误 (比如 
交换 两 个 16-bit 整 数 ， 加 法 满足 交换 律 ，checksum 不 变 ) 。 以 太 网 的 
CRC32 只 能 保证 同一 个 网 段 上 的 通信 不 会 出 错 (两 台 机 器 的 网 线 插 到 


同一 个 交换 机 上 ， 这 时 候 以 太 网 的 CRC 是 有 用 的 ) 。 但 是 ， 如 果 两 台 
机 器 之 间 经 过 了 多 级 路 由 器 呢 ? 

图 A-1 中 dient 向 server 发 了 一 个 TCP segment， 这 个 segment 先 被 封 
装 成 一 个 IP packet， 再 被 封装 成 ethernet frame， 发 送 到 路 由 器 (图 A-1 
中 的 消息 a) 。router 收 到 ethernet frame b， 转 发 到 另 一 个 网 段 (消息 
c) ， 最 后 server 收 到 d， 通 知 应 用 程序 。 以 太 网 CRC 能 保证 a 和 b 相 同 ，c 
和 dd 相同; TCP header checksum 的 强度 不 足以 保证 收发 payload 的 内 容 一 
样 。 另 外 ， 如 果 把 router 换 成 NAT， 那 么 NAT 自 己 会 构造 消息 c (替换 掉 
源 地 址 ) ， 这 时 候 a 和 d 的 payload 不 能 用 TCP header checksum 校 验 。 
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路 由 器 可 能 出 现 硬件 故障 ， 比 方 说 它 的 内 存 故 障 (或 偶然 错误 ) 
导致 收发 IP 报 文 出 现 多 bit 的 反 转 或 双 字 节 交 换 ， 这 个 反 转 如 果 发 生 在 
payload 区 ， 那 么 无 法 用 链 路 层 、 网 络 层 、 传 输 层 的 check sum 查 出 来 ， 
只 能 通过 应 用 层 的 check sum 来 检测 。 这 个 现象 在 开发 的 时 候 不 会 遇 
到 ， 因 为 开发 用 的 几 台 机 器 很 可 能 都 连 到 同一 个 交换 机 ，ethernet CRC 
能 防止 错误 。 开 发 和 测试 的 时 候 数 据 量 不 大 ， 错 误 很 难 发 生 。 之 后 大 
规模 部 署 到 生产 环境 ， 网 络 环境 复杂 ， 这 时 候 出 个 错 就 直人 措 手 不 
及 。 有 一 篇 论文 《When the CRC and TCP checksum disagree》 分 析 了 这 
个 问题 。 另 外 《The Limitations of the Ethernet CRC and TCP/IP 
checksums for error detection》 2 也 值得 一 读 。 


这 个 情况 真 的 会 发 生 吗 ?会 的 ，Amazon S3 在 2008 年 7 月 就 遇 到 过 + 
， 单 bit 反 转 导 致 了 一 次 严重 线 上 事故 ， 所 以 他 们 吸取 教训 加 了 check 
sumo。 另外 见 Google 工 程 师 的 经 验 分 享 2。 

另外 一 个 例证 : 下 载 大 文件 的 时 候 一 般 都 会 附 上 MD5， 这 除了 有 
安全 方面 的 考虑 (防止 纂 改 ) ， 也 说 明 应 用 层 应 该 自己 设法 校 验 数据 
的 正确 性 。 这 是 end-to-end principle 的 一 个 例证 。 


A.2 三 本 必 看 的 书 


谈 到 Unix 编 程 和 网 络 编程 ，W. Richard Stevens 是 个 绕 不 开 的 人 物 ， 
他 生前 写 了 6 本 书 ， 即 [APUE]、 两 卷 《UNIX 网 络 编程 》、 三 卷 
《TCP/P 详 解 》。 其 中 四 本 与 网 络 编程 直接 相关 。[UNPv2] 其 实 跟 网 络 
编程 关系 不 大 ， 是 [APUE] 在 多 线程 和 进程 间 通 信 (IPC) 方面 的 补充 。 
很 多 人 把 《TCP/IP 详 解 》 一 二 三 卷 作为 整体 推荐 ， 其 实 这 三 本 书 的 用 
处 不 同 ， 应 该 区 别 对 待 。 

这 里 谈 到 的 几 本 书 都 没有 超出 孟 宕 在 《TCP/IP 网 络 编程 之 四 书 五 
经 》 中 的 推荐 ， 说 明 网 络 编程 这 一 领域 已 经 相对 成 熟 稳定 。 

第 一 本 : 《TCP/IP Tllustrated, Vol. 1: The Protocols》 (中 文 名 
《TCP/IP 详 解 》) ， 以 下 简称 TCPv1。 

TCPv1 是 一 本 奇 书 。 这 本 书 迄 今 至 少 被 三 百 多 篇 学 术 论 文 引 用 过 2 
。 一 本 学 术 专 著 被 论文 引用 算 不 上 出 奇 ， 难 得 的 是 一 本 写 给 程序 员 看 
的 技术 书 能 被 学 术 论文 引用 几 百 次 ， 我 不 知道 还 有 哪 本 技术 书 能 做 到 
这 一 点 。 

TCPv1 堪 称 TCP/IP 领 域 的 圣经 。 作 者 W. Richard Stevens 不 是 TCP/IP 
协议 的 发 明 人 ， 他 从 使 用 者 (程序 员 ) 的 角度 ， 以 tcpdump 为 工具 ， 对 
TCP 协 议 抽 丝 剥 茧 、 娓 九 道 来 (第 17~24 章 ) ， 让 人 叹服。 恐怕 TCP 协 
议 的 设计 者 也 难以 讲解 得 如 此 出 色 ， 至 少 不 会 像 他 这 么 耐心 细致 地 画 
几 百 幅 收 发 package 的 时 序 图 。 

TCP 作 为 一 个 可 靠 的 传输 层 协 议 ， 其 核心 有 三 点 : 


1. Positive acknowledgement with retransmission ; 

2. Flow control using sliding window (包括 Nagle 算 法 等 ) ; 

3. Congestion control (包括 slow start、congestion avoidance、fast 
retransmit 等 ) 。 


第 一 点 已 经 足以 满足 “可靠 性 要求 (为 什么 ? ) ; 第 二 点 是 为 了 
提高 吞吐 量 ， 充 分 利用 链 路 层 带宽 ; 第 三 点 是 防止 过 载 造成 丢 包 。 换 
言 之 ， 第 二 点 是 避免 发 得 太 慢 ， 第 三 点 是 避免 发 得 太 快 ， 二 者 相互 制 
约 。 从 反馈 控制 的 角度 看 ，TCP 像 是 一 个 自 适 应 的 节 流 疝 ， 根 据 管 道 的 
拥堵 情况 自动 调整 阀门 的 流量 。 

TCP 的 flow control 有 一 个 问题 ， 每 个 TCP connection 是 彼此 独立 
的 ， 保 存 着 自己 的 状态 变量 ， 一 个 程序 如 果 同 时 开启 多 个 连接 ， 或 者 
操作 系统 中 运行 多 个 网 络 程序 ， 这 些 连接 似乎 不 知道 他 人 的 存在 ， 缺 
少 对 网 卡带 宽 的 统筹 安排 。 (或 许 现代 的 操作 系统 已 经 解决 了 这 个 问 
题 ? ) 

TCPv1 唯 一 的 不 足 是 它 出 版 得 太 早 了 ，1993 年 至 今 网 络 技术 发 展 了 
几 代 。 链 路 层 方面 ， 当 年 主流 的 10Mbit 网 卡 和 集线器 早已 经 被 淘汰 ; 
100Mbit 以 太 网 也 没什么 企业 在 用 了 ， 交 换 机 (switch) 也 已 经 全 面 取 
代 了 集线器 (hub) ; 服务 器 机 房 以 1Gbit 网 络 为 主 ， 有 些 场合 甚至 用 上 
了 10Gbit 以 太 网 。 另 外 ， 无 线 网 的 普及 也 让 TCP flow control 面 临 新 挑 
战 ， 原 来 设计 TCP 的 时 候 ， 人 们 认为 丢 包 通常 是 拥塞 造成 的 ， 这 时 应 该 
放 慢 发 送 速度 ， 减 轻 拥塞 ; 而 在 无 线 网 中 ， 丢 包 可 能 是 信号 太 弱 造成 
的 ， 这 时 反而 应 该 快速 重 试 ， 以 保证 性 能 。 网 络 层 方 面 变 化 不 大 ， 
IPV6“ 雷 声 大 、 雨 点 小 ”。 传 输 层 方面 ， 由 于 链 路 层 带 宽大 增 ，TCP 
window scale option 被 普遍 使 用 ， 另 外 TCP timestamps option 和 和 TCP 
selective ack option 也 很 常用 。 由 于 这 些 因 素 ， 在 现在 的 Linux 机 器 上 运 
行 tcpdump 观 察 TCP 协 议 ， 程 序 输出 会 与 原 书 有 些 不 同 。 

一 个 好 消息 : TCPv1 已 于 2011 年 10 月 推出 第 2 版 ， 经 典 能 否 重 现 ? 

第 二 本 : 《Unix Network Programming, Vol. 1: Networking API》 第 
2 版 或 第 3 版 (这 两 版 的 副标题 稍 有 不 同 ， 第 3 版 去 掉 了 XTI) ， 以 下 统 


称 UNP。W. Richard Stevens 在 UNP 第 2 版 出 版 之 后 就 不 乎 去 世 了 ，UNP 
第 3 版 是 由 他 人 续 写 的 。 

UNP 是 Sockets API 的 权威 指南 ， 但 是 网 络 编程 远 不 是 使 用 那 十 几 
个 Sockets API 那 么 简单 ， 作 者 W. Richard Stevens 深 刻 地 认识 到 了 这 一 
点 ， 他 在 UNP 第 2 版 的 前 言 中 写 道 : # 


I have found when teaching network programming that about 80% of 
all network programming problems have nothing to do with network 
programming , per se. That is, the problems are not with the API functions 
such as accept and select, but the problems arise from a lack of 
understanding of the underlying network protocols. For example, I have 
found that once a student understands TCP's three-way handshake and four- 
packet connection termination, many network programming problems are 
immediately understood. 


搞 网 络 编程 ， 一 定 要 熟悉 TCP/IP 协 议 及 其 外 在 表现 (比如 打开 和 
关闭 Nagle 算 法 对 收发 包 延 时 的 影响 ) ， 不 然 出 点 意料 之 外 的 情况 就 摸 
不 着 头脑 了 。 我 不 知道 为 什么 UNP 第 3 版 在 前 言 中 去 掉 了 这 上段 至 关 重 要 
的 话 。 

另外 值得 一 提 的 是 ，UNP 中 文 版 《UNIX 网 络 编程 》 翻 译 得 相当 
好 ， 译 者 杨 继 张 先生 是 真 懂 网 络 编程 的 。 

UNP 很 详细 ， 面 面 俱 到 ，UDP、TCP、IPv4、IPv6 都 讲 到 了 。 要 说 
有 什么 缺点 的 话 ， 就 是 太 详 细 了 ， 重 点 不 够 突出 。 我 十 分 赞同 备 岩 说 
的 : 5 


孟 岩 ) 我 主张 ， 在 具备 基础 之 后 ， 学 习 任何 新 东西 ， 都 要 抓 住 
主线 ， 突 出 重点 。 对 于 关键 理论 的 学 习 ， 要 集中 精力 ， 速 战 速决 。 而 
旁 校 末节 和 非 本 质 性 的 知识 内 容 ， 完 全 可 以 留 给 实践 去 零 敲 碎 打 。 

原因 是 这 样 的 ， 任 何 一 个 高 级 的 知识 内 容 ， 其 中 都 只 有 一 小 部 分 
是 有 思想 创新 、 有 重大 影响 的 ， 而 其 他 很 多 东西 都 是 琐碎 的 、 非 本 质 
的 。 因 此 ， 集 中 学 习 时 必须 把 握 住 真正 重要 的 那 部 分 ， 把 其 他 东西 留 
给 实践 。 对 于 重点 知识 ， 只 有 集中 学 习 其 理论 ， 才 能 确保 体系 性 、 连 


贯 性 、 正 确 性 ; 而 对 于 那些 劳 枝 末 节 ， 只 有 边 干 边 学 才能 够 让 你 了 解 
它们 的 真实 价值 是 大 是 小 ， 才 能 让 你 留 下 更 生动 的 印象 。 如 果 你 把 精 
力 用 错 了 地 方 ， 比 如 用 集中 大 块 的 时 间 来 学 习 那 些 本 来 只 需要 查 查 手 
册 就 可 以 明白 的 小 技巧 ， 而 对 于 真正 重要 的 、 思 想 性 的 东西 放 在 平时 
零 敲 碎 打 ， 那 么 肯定 是 事倍功半 ， 甚 至 适得其反 。 

因此 我 对 于 市 面 上 绝 大 部 分 开发 类 图 书 都 不 满 一 -它们 基本 上 都 
是 面向 知识 体系 本 身 的 ， 而 不 是 面向 读者 的 。 总 是 把 相关 的 所 有 知识 
细节 都 放 在 一 堆 ， 然 后 一 堆 一 堆 攒 起 来 变 成 一 本 书 。 反 映 在 内 容 上 ， 
就 是 毫 无 重点 地 平 铺 直 人 条 ， 不 分 轻重 地 陈述 细节 ， 往 往 在 第 三 章 以 前 
就 用 无 聊 的 细节 “谋杀 ”了 读者 的 热情 。 为 什么 当年 修 捷 先生 的 《深入 
浅 出 MFC》 和 Scott Meyers 的 《Effective C++》 能 够 成 为 经 典 ? 就 在 于 
这 两 本 书 抓 住 了 各 自 领 域 中 的 主干 ， 提 纲 者 领 ， 纲 举目 张 ， 一 下 子 打 
通 了 读者 的 “ 任 督 二 脉 ”"。 可 惜 这 样 的 书 太 少 了 ， 就 算是 已 故 的 W. 
Richard Stevens 和 当今 Jeffrey Richter 的 书 ， 也 只 是 在 体系 性 和 深入 性 上 
高 人 一 头 ， 并 不 是 面向 读者 的 书 。 


什么 是 旁 枝 未 节 呢 ? 拿 以 太 网 来 说 ，CRC32 如 何 计 算 就 是 “ 旁 枝 末 
节 ”。 网 络 程序 员 要 明白 check sum 的 作用 ， 知 道 为 什么 需要 check 
sum， 至 于 具体 怎么 算 CRC 就 不 需要 程序 员 操心 了 。 这 部 分 通常 是 由 网 
卡 硬件 完成 的 ， 在 发 包 的 时 候 由 硬件 填充 CRC， 在 收 包 的 时 候 网 卡 自 
动 丢 弃 CRC 不 合格 的 包 。 如 果 代 码 中 确实 要 用 到 CRC 计 算 ， 调 用 通用 
的 zlib 就 行 ， 也 不 用 自己 实现 。 

UNP 就 像 给 了 你 一 堆 做 菜 的 原料 《各 种 Sockets 国 数 的 用 法 ) ， 常 
用 和 不 常用 的 都 给 了 (Out-of-Band Data、Signal-Driven IO 等 等 ) ， 要 
靠 读 者 自己 设法 取舍 组 合 ， 做 出 一 盘 大 菜 来 。 在 读 第 一 遍 的 时 候 ， 我 
建议 只 读 那 些 基 本 且 重 要 的 章节 ; 另外 那些 次 要 的 内 容 可 略 作 了 解 ， 
即便 跳 过 不 读 也 无 妨 。UNP 是 一 本 操作 性 很 强 的 书 ， 读 这 本 书 一 定 要 
上 机 练习 。 

另外 ，UNP 举 的 两 个 例子 〈 荣 谱 ) 太 简 单 ，daytime 和 echo 一 个 是 
短 连 接 协 议 ， 一 个 是 长 连接 无 格式 协议 ， 不 足以 覆盖 基本 的 网 络 开发 


场景 〈 比 如 TCP 封 包 与 拆 包 、 多 连接 之 间 交 换 数 据 ) 。 我 估计 W. 
Richard Stevens 原 打算 在 UNP 第 三 卷 中 讲解 一 些 实际 的 例子 ， 只 可 惜 他 
英 年 早 逝 ， 我 等 无 福 阅 读 。 

UNP 是 一 本 偏重 Unix 传 统 的 书 ， 这 本 书写 作 的 时 候 服 务 端 还 不 需 
要 处 理 成 千 上 万 的 连接 ， 也 没有 现在 那么 多 网 络 攻击 。 书 中 重点 介绍 
的 以 accept() 十 fork() 来 处 理 并 发 连接 的 方式 在 现在 看 来 已 经 有 点 吃力 ， 
这 本 书 的 代码 也 没有 特别 防范 恶意 攻击 。 如 果 工 作 涉及 这 些 方面 ， 需 
要 再 进一步 学 习 专 门 的 知识 (C10k 问 题 ， 安 全 编程 ) 。 

TCPv1 和 UNP 应 该 先 看 哪 本 ? 见仁见智 吧 。 我 自己 是 先 看 的 
TCPv1， 伦 了 大 约 两 个 月 时 间 ， 然 后 再 读 UNP 和 APUE。 

第 三 本 : 《Effective TCP/IP Programming》 

天 于 第 三 本 书 ， 我 犹豫 了 很 久 ， 不 知道 该 推荐 哪 本 。 还 有 哪 本 书 
能 与 W. Richard Stevens 的 这 两 本 比肩 吗 ? W. Richard Stevens 为 技术 书籍 
的 写作 树立 了 难以 逾越 的 标杆 ， 他 是 一 位 伟大 的 技术 作家 。 没 能 看 到 
他 写 完 UNP 第 三 卷 实在 是 人 生 的 遗憾 。 

《Effective TCP/IP Programming》 这 本 书 属 于 专家 经 验 总 结 类 ， 初 
看 时 觉得 收获 很 大 ， 工 作 一 段 时 间 再 看 也 能 有 新 的 发 现 。 比 如 第 6 条 
“TCP 是 一 个 字 节 流 协 议 *"， 看 过 这 一 条 就 不 会 去 研究 所 谓 的 “TCP 粘 包 
问题 ”。 我 手头 这 本 中 国电 力 出 版 社 2001 年 的 中 文 版 翻译 尚 可 ， 但 是 却 
把 参考 文献 去 掉 了 ， 正 文中 引用 的 文章 资料 根本 查 不 到 名 字 。 人 民 邮 
电 出 版 社 2011 年 重新 翻译 出 版 的 版 本 有 参考 文献 。 


其 他 值得 一 看 的 书 


以 下 两 本 都 不 易 读 ， 需 要 相当 的 基础 。 

《TCP/IP Tllustrated, Vol. 2: The Implementation》， 以 下 简称 
TCPv2。 

1200 页 的 大 部 头 ， 详 细 讲 解 了 4.4BSD 的 完整 TCP/IP 协 议 栈 ， 注 释 
了 15000 行 C 源 码 。 这 本 书 哺 下 来 不 容易 ， 如 果 时 间 不 充裕 ， 我 认为 没 


必要 哺 完 ， 应 用 层 的 网 络 程序 员 选 其 中 与 工作 相关 的 部 分 来 阅读 即 
吕 。 

这 本 书 的 第 一 作者 是 Gary Wright， 从 叙述 风格 和 内 容 组 织 上 是 典 
型 的 “面向 知识 体系 本 身 ”， 先 讲 mbuf， 再 从 链 路 层 一 路 往 上 ， 以 太 
网 、IP 网 络 层 、ICMP、IP 多 播 、IGMP、IP 路 由 、 多 播 路 由 、Sockets 系 
统 调 用 、ARP 等 等 。 到 了 正文 内 容 3/4 的 地 方才 开始 讲 TCP。 面 面 俱 
到 、 主 次 不 明 。 

对 于 主要 使 用 TCP 的 程序 员 ， 我 认为 TCPv2 的 一 大 半 内 容 可 以 跳 过 
不 看 ， 比 如 路 由 表 、IGMP 等 等 (开发 网 络 设备 的 人 可 能 更 关心 这 些 内 
容 ) 。 在 工作 中 大 可 以 把 IP 视 为 host-to-host 的 协议 ， 把 “IP packet 如 何 送 
达 对 方 机 器 ”的 细节 视 为 黑 盒 子 ， 这 不 会 影响 对 TCP 的 理解 和 运用 ， 
为 网 络 协议 是 分 层 的 。 这 样 精简 下 来 ， 需 要 看 的 只 有 三 四 百 页 ， 四 五 
千 行 代码 ， 大 大 减轻 了 阅读 的 负担 。 

这 本 书 直 接 呈 现 高 质量 的 工业 级 操作 系统 源码 ， 读 起 来 有 难度 ， 
读 懂 它 甚至 要 有 “不 求 甚 解 的 能 力 ”。 其 一 ， 代 码 只 能 看 ， 不 能 上 机 运 
行 ， 也 不 能 改动 试验 。 其 二 ， 与 操作 系统 的 其 他 部 分 紧密 关联 。 比 如 
TCP/IP stack 下 接 网 卡 驱 动 、 软 中 断 ; 上 承 inode 转 发 来 的 系统 调用 操 
作 ; 中 间 还 要 与 平 级 的 进程 文件 描述 符 管 理子 系统 打交道 。 如 果 要 把 
每 一 部 分 都 弄 清 楚 ， 把 持 不 住 就 会 迷失 主题 。 其 三， 一些 历史 包 罕 让 
代码 变 得 复杂 星 深 。 比 如 BSD 在 20 世 纪 80 年 代 初 需要 在 只 有 4MiB 内 存 
的 VAX 小 型 机 上 实现 TCP/IP， 内 存 方面 捉襟见肘 ， 这 才 发 明了 mbuf 结 
构 ， 代 码 也 增加 了 不 少 偶 发 复杂 度 (buffer 不 连续 的 处 理 ) 。 

读 这 套 TCP/ 耻 书 切 忌 胶 柱 鼓 瑟 ， 这 套 书 以 4.4BSD 为 讲解 对 象 ， 其 
苗 述 的 行为 (特别 是 与 timer 相 关 的 行为 ) 与 现在 的 Linux TCP/IP 有 不 小 \ 
的 出 入 ， 用 书本 上 的 知识 直接 套用 到 生产 环境 的 Linux 系 统 可 能 会 造成 
不 小 的 误解 和 困扰 。 (《TCP/IP 详 解 〈 第 3 卷 ) 》 不 重要 ， 可 以 成 套 买 
来 收藏 ， 不 读 亦 可 。 ) 


.《Pattern-Oriented Software Architecture Volume 2: Patterns for 
Concurrent and Networked Objects》， 以 下 简称 POSA2。 


这 本 书 总 结 了 开发 并 发 网 络 服务 程序 的 模式 ， 是 对 UNP 很 好 的 补 
充 。UNP 中 的 代码 往往 把 业务 逻辑 和 Sockets API 调 用 混在 一 起 ， 代 码 
固然 短小 精 悍 ， 但 是 这 种 编码 风格 恐怕 不 适合 开发 大 型 的 网 络 程序 。 
POSA2 强 调 模块 化 ， 网 络 通 信 交 给 library/framework 去 做 ， 程 序 员 写 代 
码 只 关注 业务 逻辑 (这 是 非常 重要 的 思想 ) 。 阅 读 这 本 书 对 于 深入 理 
解 常 用 的 event-driven 网 络 库 (libevent、Java Netty、Java Mina、Perl 
POE、Python Twisted 等 等 ) 也 很 有 帮助 ， 因 为 这 些 库 都 是 依照 这 本 书 
的 思想 编写 的 。 

POSA2 的 代码 是 示意 性 的 ， 思 想 很 好 ， 细 节 不 佳 。 其 C++ 代码 没 
充分 考虑 资源 的 自动 化 管理 (RAID ， 如 果 直 接 按照 书 中 介绍 的 方式 
去 实现 网 络 库 ， 那 么 会 给 使 用 者 造成 不 小 的 负担 与 陷阱 。 换 言 之 ， 照 
他 说 的 做 ， 而 不 是 照 他 做 的 学 。 


注释 


1 http://enwikipedia.org/Wiki/Usage_share_of operating systems 

2 ”必要 时 甚至 要 修改 Linux 内 核 ( 
http://linux.dell.com/files/presentations/Linux_Plumbers Conf 2010/Scaling techniques for servers with high connection%20rates.pdf 
) 。 


http://blog.csdn.net/solstice/article/details/5334243 ， 收 入 本 书 第 3 章 。 
http://blog.codingnow.com/2006/04/iocp_kqueue epolLhtml 
http://stackoverflow.com/questions/3770457/what-is-memory-fragmentation 
http://stackoverflow.com/questions/60871/how-to-solve-memory-fragmentation 
http://jjhou.boolan.com/programmer-5-talk.htm 

8 见 88.11 和 《学 之 者 生 ， 用 之 者 死 一 -ACE 历史 与 简 评 》 举 的 三 个 硬 伤 人 
http://blog.csdn.net/solstice/article/details/5364096 ) 。 

9 http://blog.csdn.net/Solstice/article/details/5497814 
http://noahdavids.org/self_published/CRC and checksum.html 
http://status.aws.amazon.com/s3-20080720.html 
http://www.ukuug.org/events/spring2007/programme/ThatCouldntHappenToUs.pdf 第 14 页 起 。 
http://portal.acm.org/citation.cfm?id=161724 
http://www.kohala.com/start/preface.unpv12e.html 
http://blog.csdn.net/myan/archive/2010/09/11/5877305.aspx 
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附录 B 从 《C++ Primer (第 4 版 ) 》 人 入手 学 习 


C++ 


这 是 我 为 《C++ Primer (第 4 版 ) (评注 版 )”》 写 的 序言 ， 文 中 “本 
书 ” 指 的 是 这 本 评注 版 (脚注 34 除 外 ) 。 


B.1 为 什么 要 学 习 C++ 


2009 年 本 书 作 者 Stanley Lippman 先 生 应 邀 来 华 参 加 上 海 祝 成 科技 举 
办 的 C++ 技术 大 会 ， 他 表示 人 们 现在 还 用 C++ 的 唯一 理由 是 其 性 能 。 相 
比 之 下 ，Java、C#、Python 等 语言 更 加 易学 易 用 并 且 开 发 工具 丰富 ， 它 
们 的 开发 效率 都 高 于 C++。 但 C++ 目 前 仍然 是 运行 最 快 的 语言 !， 如 果 
你 的 应 用 领域 确实 在 乎 这 个 性 能 ， 那 么 C++ 是 不 二 之 选 。 

这 里 略 举 几 个 例子 :。 对 于 手持 设备 而 言 ， 提 高 运行 效率 意味 着 完 
成 相同 的 任务 需要 更 少 的 电能 ， 从 而 延长 设备 的 操作 时 间 ， 增 强 用 户 
体验 。 对 于 同 入 式 : 设 备 而 言 ， 提 高 运行 效率 意味 着 : 实现 相同 的 功能 
可 以 选用 较 低档 的 处 理 器 和 较 少 的 存储 器 ， 降 低 单个 设备 的 成 本 ;如 
果 设 备 销量 大 到 一 定 的 规模 ， 可 以 弥补 C++ 开发 的 成 本 。 对 于 分 布 式 系 
统 而 言 ， 提 高 10% 的 性 能 就 意味 着 节约 10% 的 机 器 和 能 源 。 如 果 系 统 
大 到 一 定 的 规模 ( 数 千 台 服务 器 ) ， 值 得 用 程序 员 的 时 间 去 换取 机 器 
的 时 间 和 数量 ， 可 以 降低 总 体 成 本 。 另 外 ， 对 于 某 些 延迟 敏感 的 应 用 

(游戏 *， 金 融 交 易 ) ， 通 常 不 能 容忍 垃圾 收集 (GC) 带 来 的 不 确定 延 
时 ， 而 C++ 可 以 自动 并 精确 地 控制 对 象 销毁 和 内 存 释放 时 机 :。 我 曾经 
不 止 一 次 见 到 ， 出 于 性 能 (特别 是 及 时 性 方面 的 ) 原因 ， 用 C++ 重 写 现 
有 的 Java 或 C# 程 序 。 

C++ 之 父 Bjarne Stroustrup 把 C++ 定 位 于 偏重 系统 编程 (system 
programming) :的 通用 程序 设计 语言 ， 开 发 信息 基础 架构 

(infrastructure) 是 C++ 的 重要 用 途 之 一 :。Herb Sutter 总 结 道 :，C++ 注 


重 运 行 效率 (efficiency) 、 灵 活性 (flexibility) :和 抽象 能 
(abstraction) ， 并 为 此 付出 了 生产 力 (productivity) 方面 的 代价 4。 
用 本 书 作者 的 话 来 说 ， 就 是 “C++ is about efficient programming with 
abstractions”《〈《C++ 的 核心 价值 在 于 能 写 出 “运行 效率 不 打折 扣 的 抽 
象 ”) 1。 

要 想 发 挥 C++ 的 性 能 优势 ， 程 序 员 需要 对 语言 本 身 及 各 种 操作 的 代 
价 有 深入 的 了 解 x:， 特 别 要 避免 不 必要 的 对 象 创建 s。 例 如 下 面 这 个 水 
数 如 果 漏 写 了 &&， 功 能 还 是 正确 的 ， 但 性 能 将 会 大 打折 扣 。 编 译 器 和 单 
元 测试 都 无 法 帮 有 我 们 查 出 此 类 错误 ， 程 序 员 自己 在 编码 时 须 得 小 心 在 


inline int find_longest(const std::vector<std::string>& words) 


C 
// std::max_element(words.begin(), words.end(), LengthCompare()); 


} 

在 现代 CPU 体 系 结构 下 ，C++ 的 性 能 优势 很 大 程度 上 得 益 于 对 内 存 

布局 (memory layout) 的 精确 控制 ， 从 而 优化 内 存 访问 的 局 部 性 
(locality of reference) 并 充分 利用 内 存 阶层 (memory hierarchy) 提速 
2#。 可 参考 Scott Meyers 的 讲义 《CPU Caches and Why You Care》 5、 
Herb Sutter 的 讲义 《Machine Architecture》 和 任何 一 本 现代 的 计算 机 
体系 结构 教材 〈《 计 算 机 体系 结构 : 量化 研究 方法 》、《 计 算 机 组 成 
与 设计 : 硬件 二 软件 接口 》、 《深入 理解 计算 机 系统 》 等 ) 。 这 一 点 
优势 在 近期 内 不 会 被 基于 GC 的 语言 赶 上 >。 

C++ 的 协作 性 不 如 C、Java、Python， 开 源 项 目 也 比 这 几 个 语言 少 
得 多 ， 因 此 在 TIOBE 语 言 流行 榜 中 节 节 下 滑 。 但 是 据 我 所 知 ， 很 多 企 
业内 部 使 用 C++ 来 构建 自己 的 分 布 式 系统 基础 架构 ， 并 且 有 替换 Java 开 
源 实现 的 趋势 。 


B.2 ”学 习 C++ 只 需要 读 一 本 大 部 头 


C++ 不 是 特性 (features) 最 丰富 的 语言 ， 却 是 最 复杂 的 语言 ， 诸 
多 语言 特性 相互 干扰 ， 使 其 复杂 度 成 倍增 加 。 鉴 于 其 学 习 难 度 和 知识 
点 之 间 的 关联 性 ， 奴 怕 不 能 用 “ 粗 粗 看 看 语法 ， 就 的 起 袖子 开 干 ， 边 查 
Google 边 学 习 ”# 这 种 方式 来 学 习 C++， 那 样 很 容易 掉 到 陷阱 里 或 养 成 
坏 的 编程 习惯 。 如 果 想 成 为 专业 C++ 开 发 者 ， 全 面 而 深入 地 了 解 这 门 复 
杂 语 言及 其 标准 库 ， 你 需要 一 本 系统 而 权威 # 的 书 ， 这 样 的 书 必 定 会 是 
一 本 八 九 百 页 的 大 部 头 *。 

兼 具 系统 性 和 权威 性 的 C++ 教 材 有 两 本 ，C++ 之 父 Bjarne Stroustrup 
的 代表 作 《The C++ Programming Language》 和 Stanley Lippman 的 这 本 
《C++ Primer》。 侯 捷 先 生 评 价 道 : “泰山 北斗 已 现 ， 又 何必 案 息 劳 形 
于 墨 瀚 书 海 之 中 ! 这 两 本 书 都 从 C++ 盘古 开 天 以 来 ， 一 路 改版 ， 斩 将 擎 
旗 ， 追 奔 逐 北 ， 成 就 一 生菜 光 。2” 

从 实用 的 角度 ， 这 两 本 书 读 一 本 即 可 ， 因 为 它们 覆盖 的 C++ 知 识 点 
相差 无 几 。 就 我 个 人 的 阅读 体验 而 言 ，Primer 更 易 读 一 些 ， 我 10 年 前 深 
入 学 习 C++ 正 是 用 的 《C++ Primer 〈 第 3 版 ) 》。 这 次 借 评注 的 机 会 仔 
细 阅 读 了 《C++ Primer 〈 第 4 版 ) 》 ， 感 觉 像 在 读 一 本 完全 不 同 的 新 
书 。 第 4 版 内 容 组 织 及 文字 表达 比 第 3 版 进步 很 多 ， 第 3 版 可 谓 * 事 无 巨 
细 、 面 面 俱 到 ”， 第 4 版 则 重点 突出 、 详 略 得 当 ， 甚 至 篇 幅 也 缩短 了 ， 
这 多 半 归 功 于 新 加 盟 的 作者 Barbara Moo。 


《C++ Primer (第 4 版 )》 讲 什么 ? 适合 谁 读 ? 


这 是 一 本 C++ 语言 的 教程 ， 不 是 编程 教程 。 本 书 不 讲 八 皇后 问题 、 
Huffman 编 码 、 汉 诸 塔 、 约 瑟 夫 环 、 大 整数 运算 等 经 典 编程 例题 ， 本 书 
的 例子 和 习题 往往 都 跟 C++ 本 身 直接 相关 。 本 书 的 主要 内 容 是 精 解 
C++ 语法 (syntax) 与 语意 (semantics) ， 并 介绍 C++ 标准 库 的 大 部 分 
内 容 ( 含 STL) 。 “这 本 书 在 全 世界 C++ 教学 领域 的 突出 和 重要 ， 已 经 
无 须 我 再 缆 言 2。” 

本 书 适 合 C++ 语 言 的 初学 者 ， 但 不 适合 编程 初学 者 。 换 言 之 ， 这 本 
书 可 以 是 你 的 第 一 本 C++ 书 ， 但 恐怕 不 能 作为 第 一 本 编程 书 。 如 果 你 不 


知道 什么 是 变量 、 赋 值 、 分 支 、 和 条件、 循环 、 函 数 ， 你 需要 一 本 更 加 
初级 的 书 上 ， 本 书 第 1 章 可 用 做 自 测 题 。 

如 果 你 已 经 学 过 一 门 编程 语言 ， 并 且 打 算 成 为 专业 C++ 开发 者 ， 从 
《C++ Primer 〈 第 4 版 ) 》 入 手 不 会 让 你 走 弯 路 。 值 得 特别 说 明 的 是 ， 
学 习 本 书 不 需要 事先 具备 C 语 言 知 识 。 相 反 ， 这 本 书 教 你 编写 真正 的 
C++ 程 序 ， 而 不 是 披 着 C++ 外 衣 的 C 程 序 。 

《C++ Primer 〈 第 4 版 ) 》 的 定位 是 语言 教材 ， 不 是 语言 规格 书 ， 
它 并 没有 面面俱到 地 谈 到 C++ 的 每 一 个 角落 ， 而 是 重点 讲解 C++ 程序 员 
日 常 工作 中 真正 有 用 的 、 必 须 掌握 的 语言 设施 和 标准 库 #s。 本 书 的 作者 
一 点 也 不 炫耀 自己 的 知识 和 技巧 ， 虽 然 他 们 有 十 足 的 资本 s。 这 本 书 用 
语 非常 严谨 〈 没 有 那些 似是而非 的 比喻 ) ， 用 词 平和 ， 讲 解 细致 ， 读 
起 来 并 不 枯燥 。 特 别 是 如 果 你 已 经 有 一 定 的 编程 经 验 ， 在 阅读 时 不 妨 
思考 如 何 用 C++ 来 更 好 地 完成 以 往 的 编程 任务 。 

尽管 本 书 篇 幅 近 900 页 ， 但 其 内 容 还 是 十 分 紧凑 的 ， 很 多 地 方 读 一 
个 句子 就 值得 写 一 小 段 代 码 去 验证 。 为 了 节省 篇 幅 ， 本 书 经 常 修改 前 
文 代 码 中 的 一 两 行 ， 来 说 明 新 的 知识 点 ， 值 得 把 每 一 行 代 码 襄 到 机 器 
中 去 验证 。 习 题 当 然 也 不 能 轻易 放 过 。 

《C++ Primer 〈 第 4 版 ) 》 体 现 了 现代 C++ 教学 与 编程 理念 : 在 现 
成 的 高 质量 类 库 上 构建 自己 的 程序 ， 而 不 是 什么 都 从 头 自己 写 。 这 本 
书 在 第 3 章 介 绍 了 string 和 vector 这 两 个 常用 的 class， 了 立刻 就 能 写 出 很 多 
有 用 的 程序 。 但 作者 不 是 一 次 性 把 string 的 上 百 个 成 员 函 数 一 一 列举 ， 
而 是 有 选择 地 先 讲解 了 最 常用 的 那 几 个 函数 ， 充 分 体现 了 本 书 作为 教 
材 而 不 是 手册 的 定位 。 

《C++ Primer 〈 第 4 版 ) 》 的 代码 示例 质量 很 高 ， 不 是 那 种 随手 写 
的 玩具 代码 。 第 10.4.2 节 实现 了 带 禁 用 词 的 单词 计数 ， 第 10.6 利 用 标准 
库容 器 简洁 地 实现 了 基于 倒 排 索引 思路 的 文本 检索 ， 第 15.9 节 又 用 面向 
对 象 方法 扩充 了 文本 检索 的 功能 ， 支 持 布尔 查询 。 值 得 一 提 的 是 ， 这 
本 书 讲解 继承 和 多 态 时 举 的 例子 符合 Liskov 蔡 换 原 则 ， 是 正宗 的 面向 对 
象 。 相 反 ， 某 些 教 材 以 复 用 基 类 代码 为 目的 ， 常 以 人 人、 学生、 老师 、 


教授 ”或 “雇员 、 经 理 、 销 售 、 合 同 工 ” 为 例 ， 这 是 误 用 了 面向 对 象 的 “ 复 
用 ”。 

《C++ Primer (第 4 版 )》 出 版 于 2005 年 ， 遵 循 2003 年 的 C++ 语 言 
标准 z。C++ 新 标准 已 于 2011 年 定案 〈 称 为 C++11) ， 本 书 不 涉及 TR12 
和 C++11， 这 并 不 意味 着 这 本 书 过 时 了 :。 相 反 ， 这 本 书 里 沉淀 的 都 是 
当前 广泛 使 用 的 C++ 编程 实践 ， 学 习 它 可 谓 正 当时 。 评 注 版 也 不 会 越 姐 
代 诡 地 介绍 这 些 新 内 容 ， 但 是 会 指出 哪些 语言 设施 已 在 新 标准 中 废 
弃 ， 避 人 免 读者 浪费 精力 。 

《C++ Primer (第 4 版 ) 》 是 平台 中 立 的 ， 并 不 针对 特定 的 编译 器 
或 操作 系统 。 目 前 最 主流 的 C++ 编译 器 有 两 个 ，GNU G++ 和 微软 Visual 
C++。 实 际 上 ， 这 两 个 编译 器 阵营 基本 上 “ 模 塑 *”* 了 C++ 语 言 的 行为 。 
理论 上 讲 ，C++ 语 言 的 行为 是 由 C++ 标准 规定 的 。 但 是 C++ 不 像 其 他 很 
多 语言 有 “官方 参考 实现 a”， 因 此 C++ 的 行为 实际 上 是 由 语言 标准 、 几 
大 主流 编译 器 、 现 有 不 计 其 数 的 C++ 产品 代码 共同 确定 的 ， 三 者 相互 制 
约 。C++ 编 译 器 不 光 要 尽 可 能 符合 标准 ， 同 时 也 要 遵循 目标 平台 的 成 文 
或 不 成 文 规范 和 约定 ， 例 如 高 效 地 利用 硬件 资源 、 兼 容 操作 系统 提供 
的 C 语 言 接口 等 等 。 在 C++ 标准 没有 明文 规定 的 地 方 ，C++ 编 译 器 也 不 
能 随心 所 欲 地 自由 发 挥 。 学 习 C++ 的 要 点 之 一 是 明白 哪些 行为 是 由 标准 
保证 的 ， 哪 些 是 由 实现 〈 软 硬件 平台 和 编译 器 ) 保证 的 >， 哪 些 是 编译 
器 自由 实现 ， 没 有 保证 的 ; 换言之 ， 明 白 哪些 程序 行为 是 可 依赖 的 。 
从 学 习 的 角度 ， 我 建议 如 果 有 条 件 不 妨 两 个 编译 器 都 用 ， 相 互 比照 ， 
避免 把 编译 器 和 平台 特定 的 行为 误解 为 C++ 语言 规定 的 行为 2。 尽 管 不 
是 每 个 人 都 需要 写 跨 平台 的 代码 ， 但 也 大 可 不 必 自 我 限定 在 编译 器 的 
某 个 特定 版 本 ， 毕 竟 编 译 器 是 会 升级 的 。 

本 着 “ 练 从 难处 练 ， 用 从 易 处 用 ”的 精神 ， 我 建议 在 命令 行 下 编译 
运行 本 书 的 示例 代码 ， 并 尽量 少 用 调试 器 。 另 外 ， 值 得 了 解 C++ 的 编译 
链接 模型 #， 这 样 才能 不 被 实际 开发 中 遇 到 的 编译 错误 或 链接 错误 绊 住 
手脚 。 (C++ 不 像 现 代 语 言 那 样 有 完善 的 模块 (module) 和 包 

(package) 设施 ， 它 从 C 语 言 继承 了 头 文 件 、 源 文件 、 库 文件 等 古老 


的 模块 化 机 制 ， 这 套 机 制 相对 较为 脆弱 ， 需 要 花 一 定时 间 学 习 规范 的 
做 法 ， 避 免 误 用 。) 

就 学 习 C++ 语 言 本 身 而 言 ， 我 认为 有 几 个 练习 非常 值得 一 做 。 这 不 
是 “重复 发 明 轮 子 *”， 而 是 必要 的 编程 练习 ， 帮 助 你 熟悉 、 掌 握 这 门 语 
言 。 一 是 与 一 个 复数 类 或 者 大 整数 类 =s， 实 现 基 本 的 加 减 乘 运算 ， 熟 悉 
封装 与 数据 抽象 。 二 是 写 一 个 字符 串 类 ， 熟 悉 内 存 管理 与 拷贝 控制 。 
三 是 写 一 个 简化 的 vector<T> 类 模板 ， 熟 悉 基 本 的 模板 编程 ， 你 的 这 个 
vector 应 该 能 放 入 int 和 std::string 等 元 素 类 型 。 四 是 写 一 个 表达 式 计 算 
器 ， 实 现 一 个 节点 类 的 继承 体系 (图 B-1 右 ) ， 体 会 面向 对 象 编程 。 前 
三 个 练习 是 写 独立 的 值 语义 的 类 ， 第 四 个 练习 是 对 象 语义 ， 同 时 要 考 
虑 类 与 类 之 间 的 关系 。 

表达 式 计 算 器 能 把 四 则 运算 式 3 十 2x4 解 析 为 图 B-1 左 图 的 表达 式 树 
s， 对 根 蔬 点 调用 calculate0) 虚 孙 数 就 能 算出 表达 式 的 值 。 做 完 之 后 还 可 
以 再 扩充 功能 ， 比 如 支持 三 角 函 数 和 变量 。 
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图 B-1 


在 写 完 面向 对 象 版 的 表达 式 树 之 后 ， 还 可 以 略微 尝试 泛 型 编程 。 
比如 把 类 的 继承 体系 简化 为 图 B-2， 然 后 用 
BinaryNode<std::plus<double> > 和 BinaryNode<std:: multiplies<double> > 
来 具 现 化 BinaryNode<T> 类 模板 ， 通 过 控制 模板 参数 的 类 型 来 实现 不 同 
的 运算 。 
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图 B-2 


在 表达 式 树 这 个 例子 中 ， 节 点 对 象 是 动态 创建 的 ， 值 得 思考 : 如 
何 才 能 安全 地 、 不 重 不 漏 地 释放 内 存 。 本 书 第 15.8 节 的 Handle 可 供 参 
考 。 (C++ 的 面向 对 象 基础 设施 相对 于 现代 的 语言 而 言 显得 很 简陋 ， 现 
在 C++ 也 不 再 以 “支持 面向 对 象 ” 为 卖点 了 。 ) 

C++ 难 学 吗 ?“ 能 够 靠 读 书 、 看 文章 、 读 代码 、 做 练习 学 会 的 东西 
没什么 门 榄 ， 智 力 正常 的 人 只 要 愿意 花 工夫 ， 都 不 难 达 到 (不 错 ) 的 
程度 。¥”C++ 好 书 很 多 ， 不 过 优秀 的 C++ 开 源 代 码 很 少 ， 而 且 风 格 馆 异 
a。 我 这 里 按 个 人 口味 和 经 验 列 几 个 供 读者 参考 阅读 : Google 的 
Protobuf、leveldb、PCRE 的 C++ 封装 ， 我 自己 写 的 muduo 网 络 库 。 这 些 
代码 都 不 长 ， 功 能 明确 ， 阅 读 难 度 不 大 。 如 果 有 时 间 ， 还 可 以 读 一 读 
Chromium 中 的 基础 库 源码 。 在 读 Google 开 源 的 C++ 代码 时 要 连 注 释 一 
起 细 读 。 我 不 建议 一 开始 就 读 STL 或 Boost 的 源码 ， 因 为 编写 通用 
C++ 模板 库 和 编写 C++ 应 用 程序 的 知识 体系 相差 很 大 。 另 外 可 以 考虑 读 
一 些 优秀 的 C 或 Java 开 产 项 目 ， 并 思考 是 否 可 以 用 C++ 更 好 地 实现 或 封 
装 之 (特别 是 资源 管理 方面 能 否 避免 手动 清理 ) 。 


B.3 ”继续 前 进 


我 能 够 随手 列 出 十 几 本 C++ 好 书 ， 但 是 从 实用 角度 出 发 ， 这 里 只 
两 三 本 必 读 的 书 。 读 过 《C++ Primer》 和 这 几 本 书 之 后 ， 想 必 读 者 已 能 
自行 识别 C++ 图 书 的 优 劣 ， 可 以 根据 项 目 需要 加 以 钻研 。 

第 一 本 是 《Effective C++ 中 文 版 〈 第 3 版 ) 》:[EC3]。 学 习 语法 是 
一 回 事 ， 高 效 地 运用 这 门 语言 是 另 一 回 事 。C++ 是 一 个 遍布 陷阱 的 语 


言 ， 吸 取 专 家 经 验 尤为 重要 ， 既 能 快速 提高 眼界 ， 又 能 避免 重 蹈 履 
略 。 《C++ Primer》 加 上 这 本 书包 含 的 C++ 知识 足以 应 付 日 常 应 用 程序 
开发 。 

我 假定 读者 一 定 会 阅读 这 本 书 ， 因 此 在 评注 中 不 引用 《Effective 
C++ 中 文 版 〈 第 3 版 ) 》 的 任何 章节 。 

《Effective C++ 中 文 版 〈 第 3 版 ) 》 的 内 容 也 反映 了 C++ 用 法 的 进 
步 。 第 2 版 建议 “总 是 让 基 类 拥有 虚 析 构图 数 ”， 第 3 版 改 为 “为 多 态 基 类 
声明 虚 析 构 函 数 "。 因 为 在 C++ 中 , “继承 ”不 光 只 有 面向 对 象 这 一 种 用 
途 ， 即 C++ 的 继承 不 一 定 是 为 了 覆 写 (override) 基 类 的 虚 函 数 。 第 2 版 
花 了 很 多 笔墨 介绍 浅 拷贝 与 深 拷 贝 ， 以 及 对 指针 成 员 变 量 的 处 理 <。 第 
3 版 则 提议 ， 对 于 多 数 class 而 言 ， 要 么 直接 禁用 拷贝 构造 水 数 和 赋值 操 
作 符 ， 要 么 通过 选用 合适 的 成 员 变 量 类 型 4， 使 得 编译 器 默认 生成 的 这 
两 个 成 员 孙 数 就 能 正常 工作 。 

什么 是 C++ 编程 中 最 重要 的 编程 技法 (idiom) ? 我 认为 是 “用 对 象 
来 管理 资源 *"， 即 RAII。 资 源 包 括 动态 分 配 的 内 存 2， 也 包括 打开 的 文 
件 、TCP 网 络 连 接 、 数 据 库 连接 、 互 斥 锁 等 等 。 借 助 RAII， 我 们 可 以 
把 资源 管理 和 对 象 生命 期 管理 等 同 起 来 ， 而 对 象 生命 期 管理 在 现代 
C++ 里 根本 不 困难 ( 见 注 5) ， 只 需要 花 几 天 时 间 熟 悉 几 个 智能 指针 
的 基本 用 法 即 可 。 学 会 了 这 三 招 两 式 ， 现 代 的 C++ 程序 中 可 以 完全 不 写 
delete， 也 不 必 为 指针 或 内 存 错误 操心 。 现 代 C++ 程 序 里 出 现 资源 和 内 
存 泄漏 的 唯一 可 能 是 循环 引用 ， 一 旦 发 现 ， 也 很 容易 修正 设计 和 代 
码 。 这 方面 的 详细 内 容 请 参考 《Effective C++ 中 文 版 (第 3 版 ) 》 的 第 3 
章 “ 资 源 管理 ”。 

C++ 是 目前 唯一 能 实现 自动 化 资源 管理 的 语言 ，C 语 言 完 全 靠 手 工 
释放 资源 ， 而 其 他 基于 垃圾 收集 的 语言 只 能 自动 清理 内 存 ， 而 不 能 自 
动 清理 其 他 资源 * (网 络 连接 ， 数 据 库 连 接 等 ) 。 

除了 智能 指针 ，TR1 中 的 bind/function 也 十 分 值得 投入 精力 去 学 一 
学 s。 让 你 从 一 个 密 新 的 视角 ， 重 新 审视 类 与 类 之 间 的 关系 。 Stephan 工 
Lavavej 有 一 套 PPT 介 绍 TR1 的 这 几 个 主要 部 件 <。 


第 二 本 书 ， 如 果 读 者 还 是 在 校 学 生 ， 已 经 学 过 数据 结构 课程 2 的 
话 ， 可 以 考虑 读 一 读 《 泛 型 编程 与 STL》、#; 如 果 已 经 工作 ， 学 完 
《C++ Primer》 立 刻 就 要 参加 C++ 项 目 开 发 ， 那 么 我 推荐 疯 读 《C++ 编 
程 规 范 》2[CCS]。 

泛 型 编程 有 一 套 自 己 的 术语 ， 如 concept、model、refinement 等 
等 ， 理 解 这 套 术语 才能 疯 读 泛 型 程序 库 的 文档 。 即 便 不 掌握 冯 型 编程 
作为 一 种 程序 设计 方法 ， 也 要 掌握 C++ 中 以 泛 型 思维 设计 出 来 的 标准 容 
器 库 和 算法 库 (STL) 。 坊 间 面 向 对 象 的 书 琳琅 满目 ， 学 习 机 会 也 很 
多 ， 而 泛 型 编程 只 有 这 么 一 本 ， 读 之 可 以 开阔 视野 ， 并 且 加 深 对 STL 的 
理解 (特别 是 迭代 器 x*) 和 应 用 。 

C++ 模 板 是 一 种 强大 的 抽象 手段 ， 我 不 赞同 每 个 人 都 把 精力 花 在 钻 
研 艰 深 的 模板 语法 和 技巧 上 。 从 实用 角度 ， 能 在 应 用 程序 中 写 写 简单 
的 水 数 模 板 和 类 模板 即 可 (以 type traits 为 限 ) ， 并 非 每 个 人 都 要 去 写 
公用 的 模板 库 。 

由 于 C++ 语 言 过 于 庞大 复杂 ， 我 见 过 的 开发 团队 都 对 其 剪裁 使 用 2 
。 人 往往 团队 越 大 ， 项 目 成 立时 间 越 早 ， 剪 裁 得 越 历 害 ， 也 越 接 近 C。 制 
订 一 份 好 的 编程 规范 相当 不 容易 。 若 规范 定 得 太 紧 (比如 定 为 团队 成 
员 知 识 能 力 的 交集 ) ， 程 序 员 束 手 束 脚 ， 限 制 了 生产 力 ， 对 程序 员 个 
人 发 展 也 不 利 xs。 若 规范 定 得 太 松 ( 定 为 团队 成 员 知 识 能 力 的 并 集 ) ， 
项 目 内 代码 风格 过 异 ， 学 习 交 流 协作 成 本 上 升 ， 恐 怕 对 生产 力也 不 
利 。 由 两 位 顶级 专家 合 写 的 《C++ 编程 规范 》 一 书 可 谓 是 现代 C++ 编程 
规范 的 范本 。 

《C++ 编程 规范 》 同 时 也 是 专家 经 验 一 类 的 书 ， 这 本 书 篇 幅 比 
《Effective C++ 中 文 版 《第 3 版 ) 》 短 小 ， 条 款 数目 却 多 了 近 一 倍 ， 可 
谓 言 简 意 赎 。 有 的 条 款 看 了 就 明白 ， 照 做 即 可 : 


-第 1 条 ， 以 高 警告 级 别 编译 代码 ， 确 保 编 译 器 无 警告 。 

第 31 条 ， 避 免 写 出 依赖 于 函 效 实 参 求 值 顺序 的 代码 。C++ 操 作 符 
的 优先 级 、 结 合 性 与 表达 式 的 求 值 顺序 是 无 关 的 。 琢 示 燕 老师 写 的 
《C/C++ 语言 中 表达 式 的 求 值 》s 一 文 对 此 有 了 明确 的 说 明 。 


第 35 条 ， 避 免 继承 “并 非 设 计 作 为 基 类 使 用 ”的 class。 

第 43 条 ， 明 智 地 使 用 pimpl。 这 是 编写 C++ 动态 链接 库 的 必 备 手 
法 ， 可 以 最 大 限度 地 提高 二 进 制 兼容 性 。 

.第 56 条 ， 尽 量 提供 不 会 失败 的 swapO0 国 数 。 有 了 swap0 孜 数 ， 我 们 
在 自 定 义 赋 值 操作 符 时 就 不 必 检 查 自 赋值 了 。 

:第 59 条 ， 不 要 在 头 文 件 中 或 #include 之 前 写 using。 

:第 73 条 ， 以 by value 方 式 抛 出 异常 ， 以 by reference 方 式 捕捉 异常 。 

第 76 条 ， 优 先 考虑 vector， 其 次 再 选择 适当 的 容器 。 

第 79 条 ， 容 器 内 只 可 存放 value 和 smart pointero 


有 的 条 款 则 需要 相当 的 设计 与 编码 经 验 才能 解 其 中 三 昧 : 


a 为 每 个 物体 (entity) 分 配 一 个 内 聚 任务 
6 条 ， 正 确 性 、 简 单 性 、 清 晰 性 居 首 。 

Pi 9 条 ， 不 要 过 早 优 化 ， 不 要 过 早 劣 化 。 

:第 22 条 ， 将 依赖 关系 最 小 化 。 避 免 循 环 依赖 。 

:第 32 条 ， 搞 清楚 你 写 的 是 哪 一 种 class。 有 明白 value class、base 
class、trait class、policy class、exception class 各 有 其 作用 ， 写 法 也 不 尽 
相同 。 

:第 33 条 ， 尽 可 能 写 小 型 class， 避 免 写 出 “大 怪兽 (monolithic 
class) ”6 

第 37 条 ，public 继 承 意味 着 可 替换 性 。 继 承 非 为 复 用 ， 乃 为 被 复 
用 。 

:第 57 条 ， 将 class 类 型 及 其 非 成 员 遂 数 接口 放 入 同一 个 namespaceo 


值得 一 提 的 是 ，《C++ 编 程 规范 》 是 出 发 点 ， 但 不 是 一 份 终极 规 


范 。 例 如 Google 的 C++ 编程 规范 和 LLVM 编 程 规范 = 都 明确 禁用 异常 ， 
这 跟 这 本 书 的 推荐 做 法 正好 相反 。 


B.4 评注 版 使 用 说 明 


评注 版 采用 大 16 开 印刷 ， 在 保留 原 书 版 式 的 前 提 下 ， 对 其 进行 了 
重新 分 页 ， 评 注 的 文字 与 正文 左右 分 栏 并 列 排版 。 另 外 ， 本 书 已 依据 
原 书 2010 年 第 11 次 印刷 的 版 本 进行 了 全 面 修订 。 为 了 节省 篇 幅 ， 原 书 
每 章 末 尾 的 小 结 、 术 语 表 及 书 末 的 索引 都 没有 印 在 评注 版 中 ， 而 是 做 
成 PDF 供 读者 下 载 ， 这 也 方便 读者 检索 。 评 注 的 目的 是 帮助 初次 学 习 
C++ 的 读者 快速 深入 掌握 这 门 语言 的 核心 知识 ， 澄 清 一 些 概念 、 比 较 与 
其 他 语言 的 不 同 、 补 充实 践 中 的 注意 事项 等 。 评 注 的 内 容 约 占 全 书 篇 
幅 的 15%， 大 致 比例 是 三 分 评 、 七 分 注 ， 并 有 一 些 补 白 的 内 容 s*。 如 果 
读者 拿 不 定 主 意 是 否 购 买 ， 可 以 先 翻 一 翻 第 5 章 。 我 在 评注 中 不 谈 
C++112， 但 会 略微 涉及 TR1， 因 为 TR1 已 经 投入 实用 。 

为 了 不 打 断 读者 阅读 的 思路 ， 评 注 中 不 会 给 URL 链 接 ， 评 注 中 偶 
尔 会 引用 《C++ 编程 规范 》 的 条 款 ， 以 [CCS] 标 明 ， 这 些 条 款 的 标题 已 
在 前 文 列 出 。 另 外 评注 中 出 现 的 soXXXXXX 表 示 
http://stackoverflow.com/questions/XXXXXX 网 址 。 


网 上 资源 


代码 下 载 : http://www.informit.com/store/product.aspx?isbn=0201721481 
豆瓣 页 面 : http://book.douban.com/subject/10944985/ 

术语 表 与 索引 PDF 下 载 : http://chenshuo.com/cp4/ (本 序 的 电子 版 也 发 
布 于 此 ,方便 读者 访问 脚注 中 的 网 站 ) 。 


我 的 联系 方式 : giantchen@gmail.com http://weibo.com/giantchen 
陈 硕 
2012 年 5 月 
中 国 :香港 


注释 


1 ” 见 编 程 语言 性 能 对 比 网 站 (http://shootout.alioth.debian.org/ ) 和 Google 员 工 写 的 语言 性 


能 对 比 论文 (https://days2011.scala-lang.org/sites/days2011/files/ws3-1-Hundt.pdf ) 。 


2 ”C++ 之 父 Bjarne Stroustrup 维 护 的 C++ 用 户 列 表 : 
http:/www2.research.att.com/~bs/applications.html 。 

3 初 血 C++ 在 能 入 式 系 统 中 的 应 用 ， 人 参见 http:Waristeia.com/TaltkNoteSMISRA_Day 2010.pdf 。 

4 Milo Yip 在 《C++ 强大 背后 》 提 到 大 部 分 游戏 引擎 (如 Unreal/Source) 及 中 间 件 (如 
Havok/FMOD) 是 C++ 实现 的 人 
http://www.cnblogs.com/miloyip/archive/2010/09/17/behind cplusplus.html ) 。 

5 “参见 和 孟 岩 的 《垃圾 收集 机 制 批 判 》: “C++ 利用 智能 指针 达成 的 效果 是 ， 一 旦 某 对 象 不 
再 被 引用 ， 系 统 刻 不 容 缓 ， 立 刻 回 收 内 存 。 这 通常 发 生 在 关键 任务 完成 后 的 清理 (clean up) 
时 期 ， 不 会 影响 关键 任务 的 实时 性 ， 同 时 ， 内 存 里 所 有 的 对 象 都 是 有 用 的 ， 绝 对 没有 垃圾 空 占 
内 存 。” (http;//blog.csdn.net/myan/article/details/1906 ) 

6 ”有 人 半 开 玩笑 地 说 :“ 所 谓 系统 编程 ， 就 是 那些 CPU 时 间 比 程序 员 的 时 间 更 重要 的 工 
作 。” 

7 《Software Development for Infrastructure》 ( 
http://www2.research.att.com/~bs/Computer-Jan12.pdf ) 。 

8 ”Herb Sutter 在 C++ and Beyond 2011 会 议 上 的 开场 演讲 : 《Why C++?》 

(http://channel9.msdn.com/posts/C-and-Beyond-2011-Herb-Sutter-Why-C) 。 

9 ”这 里 的 灵活 性 指 的 是 编译 器 不 阻止 你 干 你 想 干 的 事情 ， 比 如 为 了 追求 运行 效率 而 实现 
即时 编译 (just-in-time compilation) 。 

10 ”我 曾 向 Stanley Lippman 介 绍 目前 我 在 Linux 下 的 工作 环境 (编辑 器 、 编 译 器 、 调 试 
器 ) ， 他 表示 这 跟 他 在 1970 年 代 的 工作 环境 相差 无 几 ， 可 见 C++ 在 开发 工具 方面 的 落后 。 另 外 
C++ 的 编译 运行 调试 周期 也 比 现 代 的 语言 长 ， 这 多 少 影响 了 工作 效率 。 

1 可 参考 Ulrich Drepper 在 《Stop Underutilizing Your Computer》 中 举 的 SIMD 例 子 

(http://www.redhat.com/f/pdf/summit/udrepper_ 945 stop underutilizing.pdf ) 。 

12 《Technical Report on C++ Performance》 ( 
http://www.open-std.org/jtc1/sc22/wg21/docs/18015.html ) 。 

13 ”可 参考 Scott Meyers 的 《Effective C++ in an Embedded Environment》 讲 义 

(http://www.artima.com/shop/effective cpp_in_an_embedded environment ) 。 

14 ”我 们 知道 std::list 的 任 一 位 置 插入 是 O(1) 操 作 ， 而 std::vector 的 任 一 位 置 插入 是 O(N) 操 
作 ， 但 由 于 vector 的 元 素 布局 更 加 紧凑 (compact) ， 很 多 时 候 vector 的 随机 插入 性 能 甚至 会 高 
于 list。 参 见 http://ecn.channel9.msdn.com/events/GoingNative12/GN12Cpp1l1Style.pdf ， 这 也 佐证 


vector 是 首选 容器 。 
15 http://aristeia.com/TalkNotes/ACCU2011 CPUCaches.pdf 
16 http://www.nwcpp.org/Downloads/2007/Machine Architecture - NWCPPpdf 


17 ”Bjarne Stroustrup 有 一 篇 论文 《Abstraction and the C++ machine model》 对 比 了 C++ 和 
Java 的 对 象 内 存 布局 (http://www2.research.att.com/ bs/abstraction-and-machine.pdf ) 。 

18 ” 语 出 孟 岩 《快速 掌握 一 个 语言 最 常用 的 50%》 ( 
http://blog.csdn.net/myan/article/details/3144661 ) 。 

19 “权威 ”的 意思 是 说 你 不 用 担心 作者 讲 错 了 ， 能 达到 这 个 水 准 的 C++ 图 书 作 者 全 世界 也 
屈指 可 数 。 

20 ”同样 篇 幅 的 Java、C#、Python 教 材 可 以 从 语言 、 标 准 库 一 路 讲 到 多 线程 、 网 络 编程 、 
图 形 编程 。 


21 ” 侯 捷 《大 道 之 行 也 一 一 C++ Primer 3/e 译 序 》 ( 
http://jjhou.boolan.com/cpp-primer-foreword.pdf ) 。 

22 Bjarne Stroustrup 在 《Programming 一 Principles and Practice Using C++》 的 参考 文献 中 
引用 了 本 书 ， 并 特别 注 明 “use only the 4th edition”。 

23 ” 侯 捷 《C++ Primer 4/e 译 序 》。 

24 ”如果 没有 时 间 精 读 脚注 22 中 提 到 的 那 本 大 部 头 ， 短 小 精干 的 《Accelerated C++》 亦 是 
上 佳之 选 。 另 外 如 果 想 从 C 语 言 入 手 ， 我 推荐 政宗 燕 老师 的 《从 问题 到 程序 :程序 设计 与 C 语 言 
引 论 》 (用 最 新 版 ) 。 

25 本 书 把 iostream 的 格式 化 输出 放 到 附录 ， 彻 底 不 谈 locale/facet， 可 谓 匠 心 独 运 。 

26 ”Stanley Lippman 曾 说 : Virtual base class support wanders off into the Byzantine... The 
material is simply too esoteric to warrant discussion... 


27 ”基本 等 同 于 1998 年 的 初版 C++ 标 准 ， 修 正 了 编译 器 作者 关心 的 一 些 问 题 ， 与 普通 程序 
员 基 本 无 关 。 

28 ”TR1 是 2005 年 C++ 标 准 库 的 一 次 扩充 ， 增 加 了 智能 指针 、bind/function、 哈 希 表 、 正 
则 表达 式 等 。 

29 ”作者 正在 编写 《C++ Primer 〈 第 5 版 ) 》， 会 包含 C++11 的 内 容 。 

30 ”G++ 统 治 了 Linux， 并 且 能 用 在 很 多 Unix 系 统 上 ; Visual C++ 统治 了 Windows。 其 他 
C++ 编译 器 的 行为 通常 要 向 它们 靠拢 ， 例 如 Intel C++ 在 Linux 上 要 兼容 G++， 而 在 Windows 上 要 
兼容 Visual C++。 

31 ”曾经 是 Cfront， 本 书 作者 正 是 其 主要 开发 者 人 
http://www.softwarepreservation.org/projects/c_plus plus ) 。 

32 ”包括 C++ 标 准 有 规定 ， 但 编译 器 拒绝 遵循 的 (http://stackoverflow.com/questions/3931312 
) 。 

33 ”G++ 是 免费 的 ， 可 使 用 较 新 的 4.x 版 ， 最 好 32-bit 和 64-bit 一 起 用 ， 因 为 服务 端 已 经 普 
64-bit 编 程 。 微 软 也 有 免费 的 C++ 编译 器 ， 可 考虑 用 Visual C++ 2010 Express， 建 议 不 要 用 老 掉 
牙 的 Visual C++ 6.0 作 为 学 习 平 台 。 

34 ”可 参考 笔者 写 的 《C++ 工 程 实践 经 验 谈 》 中 的 “C++ 编 译 模型 精 要 ”一 节 (本 书 第 10 


= 


章 ) 。 
35 “大 整数 类 可 以 以 std::vector<int> 为 成 员 变量 ， 避 免 手 动 资源 管理 。 
36 “解析 ”可 以 用 数据 结构 课程 介绍 的 逆 波 兰 表 达 式 方法 ， 也 可 以 用 编译 原理 中 介绍 的 递 
归 下 降 法 ， 还 可 以 用 专门 的 Packrat 算 法 。 程 序 结构 可 参考 
http://www.relisoft.com/book/lang/poly/3tree.html 。 

37 “ 孟 岩 《技术 路 线 的 选择 重要 但 不 具有 决定 性 》 ( 
http://blog.csdn.net/myan/article/details/3247071 ) 。 

38 ”从 代码 风格 上 往往 能 判断 项 目 成 型 的 时 代 。 

39 ”Scott Meyers 著 ， 伐 捷 译 ， 电 子 工 业 出 版 社 出 版 。 

40 Andrew Koenig 的 《Teaching C++ Badly: Introduce Constructors and Destructors at the 
Same Time》 (http://drdobbs.com/blogs/cpp/229500116) 。 

41 能 自动 管理 资源 的 std::string、std::vector、boost::shared_ptr 等 等 ， 这 样 多 数 class 连 析 
构 函 数 都 不 必 写 。 
42 “分 配 内 存 ” 包 括 在 堆 (heap) 上 创建 对 象 。 


CD 
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4 ”包括 TR1 中 的 shared_ptr、weak_ptr， 还 有 更 简单 的 boost::scoped_ptro 

44 ”Java 7 有 try-with-resources 语 句 ，Python 有 with 语句 ，C# 有 using 语 句 ， 可 以 自动 清理 栈 
上 的 资源 ， 但 对 生命 期 大 于 局 部 作用 域 的 资源 无 能 为 力 ， 需 要 程序 员 手 工 管理 。 

45 ”至 岩 的 《function/bind 的 救赎 (上 ) 》 (http;//blog.csdn.net/myan/article/details/5928531 


46 http://blogs.msdn.com/b/vcblog/archive/2008/02/22/tr1-slide-decks.aspx 

47 ”最 好 再 学 一 点 基础 的 离散 数学 。 

48 ”Matthew Austern 著 ， 侯 捷 译 ， 中 国电 力 出 版 社 。 

49 ”Herb Sutter 等 著 ， 刘 基 诚 译 ， 人 民 邮 电 出 版 社 出 版 。 (这 本 书 的 繁体 版 由 侯 捷 先生 和 
我 翻译 。) 

50 ” 侯 捷 先生 的 《芝麻 开门 : 从 Iterator 谈 起 》 ( 
http:Wjjhou.boolan.com/programmer-3-traits.pdf ) 。 

51 孟 岩 的 《编程 语言 的 层次 观点 一 - 兼 谈 C++ 的 剪裁 方案 》 ( 
http://blog.csdn.net/myan/article/details/1920 ) 。 

52 ”一 个 人 通常 不 会 在 一 个 团队 工作 一 辈子 ， 其 他 团队 可 能 有 不 同 的 C++ 剪裁 使 用 方式 ， 
程序 员 要 有 “一 桶 水 ”的 本 事 ， 才 能 应 付 不 同形 状 大 小 的 水 碗 。 

53 http://www.math.pku.edu.cn/teachers/qiuzy/technotes/expression2009.pdf 


54 http://google-styleguide.googlecode.com/svn/trunk/cppguide.xml#Exceptions 
55 http://llvm.org/docs/CodingStandards.html#ci rtti exceptions 


56 ”第 10 章 绘制 了 数据 结构 示意 图 ， 第 11 章 补充 lower_bound 和 upper_bound 的 示例 。 
57 ”从 Scott Meyers 的 讲义 可 以 快速 学 习 C++11 ( 
http://www.artima.com/shop/overview of the new cpp ) 。 
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附录 C 关于 Boost 的 看 法 


这 是 我 为 电子 工业 出 版 社 出 版 的 《Boost 程 序 库 完全 开发 指南 》 写 
的 推荐 序 ， 此 处 节选 了 我 对 在 C++ 工程 项 目 中 使 用 Boost 的 看 法 。 

最 近 一 年 :我 电话 面试 了 数 十 位 C++ 应 聘 者 。 惯 用 的 暖 场 问题 是 
“工作 中 使 用 过 STL 的 哪些 组 件 ? 使 用 过 Boost 的 哪些 组 件 ? ”。 得 到 的 
答案 大 多 集中 在 vector、map、shared_ptr。 如 果 对 方 是 在 校 学 生 ， 我 一 
般 会 问 问 vector 或 map 的 内 部 实现 、 各 种 操作 的 复杂 度 以 及 迭代 器 失效 
的 可 能 场景 。 如 果 是 有 经 验 的 程序 员 ， 我 还 会 追问 shared_ptr 的 线程 安 
全 性 、 循 环 引 用 的 后 果 及 如 何 避 免 、weak_ptr 的 作用 等 。 如 果 这 些 都 
回答 得 不 错 ， 进 一 步 还 可 以 问 问 如 何 实现 线程 安全 的 引用 计数 ， 如 何 
定制 删除 动作 等 等 。 这 些 问 题 让 我 能 迅速 辨别 对 方 的 C++ 水 平 。 

我 之 所 以 在 面试 时 间 到 Boost， 是 因为 其 中 的 某 些 组 件 确实 可 以 用 
于 编写 可 维护 的 产品 代码 。Boost 包 含 近 百 个 程序 库 ， 其 中 不 乏 具 有 工 
程 实用 价值 的 佳品 。 每 个 人 的 口味 与 技术 背景 不 一 样 ， 对 Boost 的 取舍 
也 不 一 样 。 就 我 的 个 人 经 验 而 言 ， 首 先 可 以 使 用 绝对 无 害 的 库 ， 例 如 
noncopyable、scoped_ptr、 static_assert 等 ， 这 些 库 的 学 习 和 使 用 都 比较 
简单 ， 容 易 入 手 。 其 次 ， 有 些 功 能 自己 实现 起 来 并 不 困难 ， 正 好 Boost 
里 提供 了 现成 的 代码 ， 那 就 不 妨 一 用 ， 比 如 date_time: 和 circular_buffer 
等 等 。 然 后 ， 在 新 项 目 中 ， 对 于 消息 传递 和 资源 管理 可 以 考虑 采用 更 
加 现代 的 方式 ， 例 如 用 function/bind 在 某 些 情况 下 代 蔡 虚 孙 数 作为 库 的 
回调 接口 、 借 助 sShared_ptr 实 现 线程 安全 的 对 象 回调 等 等 。 这 二 者 会 影 
响 整 个 程序 的 设计 思路 与 风格 ， 需 要 通盘 考虑 ， 如 果 正 确 使 用 智能 指 
针 ， 在 现代 C++ 程序 里 一 般 不 需要 出 现 delete 语 句 。 最 后 ， 对 某 些 性 能 
不 佳 的 库 保 持 警 惕 ， 比 如 lexical_cast。 总 之 ， 在 项 目 组 成 员 人 人 都 能 
理解 并 运用 的 基础 上 ， 适 当 引 入 现成 的 Boost 组 件 ， 以 减少 重复 劳动 ， 
提高 生产 力 。 


Boost 是 一 个 宝库 ， 其 中 既 有 可 以 直接 拿 来 用 的 代码 ， 也 有 值得 借 
鉴 的 设计 思路 。 

试 举 一 例 : 正则 表达 式 库 regex 对 线程 安全 的 处 理 。 早 期 的 RegEx 
class 不 是 线程 安全 的 ， 它 把 “正则 表达 式 ” 和 “匹配 动作 ” 放 到 了 一 个 
class 里 边 。 由 于 有 可 变数 据 ，RegEx 的 对 象 不 能 跨 线程 使 用 。 如 今 的 
regex 明 确 地 区 分 了 不 可 变 (immutable) 与 可 变 (mutable) 的 数据 ， 
前 者 可 以 安全 地 跨 线程 共享 ， 后 者 则 不 行 。 比 如 正则 表达 式 本 身 

(basic_regex) 与 一 次 匹配 的 结果 (match_results) 是 不 可 变 的 ; 而 匹 
配 动作 本 身 《match_regex) 涉及 状态 更 新 ， 是 可 变 的 ， 于 是 用 可 重 入 
的 函数 将 其 封装 起 来 ， 不 让 这 些 数 据 泄 露 给 别 的 线程 。 正 是 由 于 做 了 
这 样 合理 的 区 分 ，regex 在 正常 使 用 时 就 不 必 加 锁 。 

Donald Knuth 在 《Coders at Work》 一 书 里 表达 了 这 样 一 个 观点 : 
如 果 程 序 员 的 工作 就 是 摆弄 参数 去 调用 现成 的 库 ， 而 不 知道 这 些 库 是 
如 何 实现 的 ， 那 么 这 份 职 业 就 没 啥 乐趣 可 言 。 换 句 话 说， 固然 我 们 强 
调 工 作 中 不 要 重新 发 明 轮 子 ， 但 是 作为 一 个 合格 的 程序 员 ， 应 该 具备 
自制 轮子 的 能 力 。 非 不 能 也 ， 是 不 为 也 。 

C/C++ 语言 的 一 大 特点 是 其 标准 库 可 以 用 语言 自身 实现 。C 标 准 库 
的 strlen、strcpy、strcmp 系 列 函 数 是 教学 与 练习 的 好 题材 ，C++ 标 准 库 
的 complex、 string、vector 则 是 class、 资源 管理 、 模 板 编程 的 绝 佳 示 
范 。 在 深入 了 解 STL 的 实现 之 后 ， 运 用 STL 自 然 手 到 擒 来 ， 并 能 自动 
避免 一 些 错误 和 低 效 的 用 法 。 

对 于 Boost 也 是 如 此 ， 为 了 消除 使 用 时 的 疑虑 ， 为 了 用 得 更 顺手 ， 
有 时 我 们 需要 适当 了 解 其 内 部 实现 ， 甚 至 编写 简化 版 用 作对 比 验 证 。 
但 是 由 于 Boost 代 码 用 到 了 日 常 应 用 程序 开发 中 不 常见 的 高 级 语法 和 技 
巧 ， 并 且 为 了 跨 多 个 平台 和 编译 器 而 大 量 使 用 了 预 处 理 安 ， 阅 读 Boost 
源码 并 不 轻松 民意 ， 需 要 下 一 番 工 夫 。 另 一 方面 ， 如 果 沉 迷 于 这 些 有 
趣 的 底层 细节 而 筷 了 原本 要 解决 什么 问题 ， 了 恐怕 就 舍 本 逐 末 了 。 

Boost 中 的 很 多 库 是 按 泛 型 编程 (generic programming) 的 范式 来 
设计 的 ， 对 于 熟悉 面向 对 象 编程 的 人 而 言 ， 或 许 面临 一 个 思路 的 转 


变 。 比 如 ， 你 得 熟悉 泛 型 编程 的 那 套 术语 ， 如 concept、model、 
refnmnement， 才 容易 读 懂 Boost.Threads 的 文档 中 关于 各 种 锁 的 描述 。 我 
想 ， 对 于 熟悉 STL 设 计 理 念 的 人 而 言 ， 这 不 是 什么 大 问题 。 

在 某 些 领域 ，Boost 不 是 唯一 的 选择 ， 也 不 一 定 是 最 好 的 选择 。 比 
如 ， 要 生成 公式 化 的 产 代 码 ， 我 宁愿 用 脚本 语言 写 一 小 段 代 码 生成 程 
序 ， 而 不 用 Boost.Preprocessor;， 要 在 C++ 程 序 中 纳入 领域 特定 语言 ， 
我 宁愿 用 Lua 或 其 他 语言 解释 器 ， 而 不 用 Boost.Proto;， 要 用 C++ 程 序 解 
析 上 下 文 无 关 文 法 ， 我 宁愿 用 ANTLR 来 定义 词法 与 语法 规则 并 生成 解 
析 器 (parser) ， 而 不 用 Boost.Spirit。 总 之 ， 使 用 Boost 时 心态 要 平 
和 ， 别 较劲 去 改造 C++ 语言 。 把 它 有 助 于 提高 生产 力 的 那 部 分 功能 
分 发 挥 出 来 ， 让 项 目 从 中 受益 才 是 关键 。 

(后 略 ) 


注释 


1 这 篇 文章 写 于 2010 年 8 月 。 


2 ”注意 boost::date_time 处 理 时 区 和 夏令 时 采用 的 方法 不 够 灵活 ， 可 以 考虑 使 用 


muduo::TimeZoneo 


附录 D 关于 TCP 并 发 连接 的 几 个 思考 题 与 试验 


前 几 天 我 在 新 浪 微 博 上 出 了 两 道 有 关 TCP 的 思考 题 ， 引 发 了 一 场 讨 
论 :。 

第 一 道 初级 题目 是 : 有 一 台 机 器 ， 它 有 一 个 IP， 上 面 运行 了 一 个 
TCP 服 务 程序 ， 程 序 只 侦 听 一 个 端口 ， 问 : 从 理论 上 讲 (只 考虑 TCP/IP 
这 一 层面 ， 不 考虑 IPv6) 这 个 服务 程序 可 以 支持 多 少 并 发 TCP 连 接 ? 

( 答 65536 上 下 的 直接 出 局 。) 

具体 来 说 ， 这 个 问题 等 价 于 : 有 一 个 TCP 服 务 程序 的 地 址 是 
1.2.3.4:8765， 问 它 从 理论 上 能 接受 多 少 个 并 发 连接 ? 

第 二 道 进 阶 题目 是 : 一 台 被 测 机 器 A， 功 能 同上 ， 同 一 交换 机 上 还 
接 有 一 台 机 器 B， 如 果 人 允许 B 的 程序 直接 收发 以 太 网 frame， 问 : 让 A 承 
担 10 万 个 并 发 TCP 连 接 需要 用 多 少 B 的 资源 ? 100 万 个 呢 ? 

从 讨论 的 结果 看 ， 很 多 人 做 出 了 第 一 道 题 ， 而 第 二 道 题 则 几乎 无 
人 问津 。 这 里 先 不 公布 答案 《第 一 题 答 案 见 文 末 ) ， 让 我 们 继续 思考 
一 个 本 质 的 问题 : 一 个 TCP 连 接 要 占用 多 少 系 统 资 源 ? 

在 现在 的 Linux 操 作 系 统 上 ， 如 果 用 socket(2) 或 accept(2) 来 创建 TCP 
连接 ， 那 么 每 个 连接 至 少 要 占用 一 个 文件 描述 符 (file descriptor) 。 为 
什么 说 “至 少 ”? 因为 文件 描述 符 可 以 复制 ， 比 如 dup0; 也 可 以 被 继 
承 ， 比 如 fork(); 这 样 可 能 出 现 系统 中 同一 个 TCP 连 接 有 多 个 文件 描述 
符 与 之 对 应 。 据 此 ,很 多 人 给 出 的 第 一 题 答案 是 : 并 发 连接 数 受 限于 
系统 能 同时 打开 的 文件 数目 的 最 大 值 。 这 个 答案 在 实践 中 是 正确 的 ， 
却 不 符合 原 题 意 。 

如 果 抛 开 操作 系统 层面 ， 只 考虑 TCP/IP 层 面 ， 建 立 一 个 TCP 连 接 有 
哪些 开销 ? 理论 上 最 小 的 开销 是 多 少 ? 考虑 两 个 场景 : 


1. 假设 有 一 个 TCP 服 务 程 序 ， 向 这 个 程序 成 功 发 起 连接 需要 做 哪 
些 事情 ? 换 句 话说 ， 如 何 才 能 让 这 个 TCP 服 务 程序 认为 有 客户 连接 到 了 
它 (让 它 的 accept(2) 调 用 正常 返回 ) ? 


2. 假设 有 一 个 TCP 客 户 端 程序 ， 让 这 个 程序 成 功 建立 到 服务 器 的 
连接 需要 做 哪些 事情 ? 换 句 话说 ， 如 何 才 能 让 这 个 TCP 客 户 端 程序 认为 
它 自己 已 经 连接 到 服务 器 了 (让 它 的 connect(2) 调 用 正常 返回 ) ? 


以 上 这 两 个 问题 问 的 不 是 如 何 编 程 ， 如 何 调 用 Sockets API， 而 是 
问 如 何 让 操作 系统 的 TCP/IP 协 议 栈 认为 任务 已 经 成 功 完 成 ， 连 接 已 经 
成 功 建立 。 

学 过 TCP/IP 协 议 ， 理 解 三 路 握手 的 读者 想必 明白 ，TCP 连 接 是 虚拟 
的 连接 ， 不 是 电路 连接 。 维 持 TCP 连 接 理论 上 不 占用 网 络 资 源 (会 占用 
两 头 程序 的 系统 资源 ) 。 只 要 连接 的 双方 认为 TCP 连 接 存在 ， 并 且 可 以 
互相 发 送 IP packet， 那 么 TCP 连 接 就 一 直 存 在 。 

对 于 问题 1， 向 一 个 TCP 服 务 程 序 发 起 一 个 连接 ， 客 户 端 (为 明白 
起 见 ， 以 下 称 为 faketcp 客 户 端 ) 只 需要 做 三 件 事情 (三 路 握手 ) : 


1a. 向 TCP 服 务 程序 发 一 个 IP packet， 包 含 SYN 的 TCP segment; 
lb. 等 待 对 方 返回 一 个 包含 SYN 和 ACK 的 TCP segment; 
1c. 向 对 方 发 送 一 个 包含 ACK 的 segment。 


faketcp 客 户 端 在 做 完 这 三 件 事情 之 后 ，TCP 服 务 器 程序 会 认为 连接 
已 建立 。 而 做 这 三 件 事情 并 不 占用 客户 端的 资源 (为 什么 ? ) ， 如 果 
faketcp 客 户 端 程序 可 以 绕 开 操作 系统 的 TCP/IP 协 议 栈 ， 自 己 直接 发 送 
并 接收 IP packet 或 Ethernet frame 的 话 。 换 句 话说 ，faketcp 客 户 端 可 以 一 
直 重 复 做 这 三 件 事件 ， 每 次 用 一 个 不 同 的 IP:PORT， 人 在 服务 端 创建 不 计 
其 数 的 TCP 连 接 ， 而 faketcp 客 户 端 自己 点 发 无 损 。 我 们 很 快 将 看 到 如 何 
用 程序 来 实现 这 一 点 。 

对 于 问题 2， 为 了 让 一 个 TCP 客 户 端 程序 认为 连接 已 建立 ，faketcp 
服务 端 也 只 需要 做 三 件 事情 : 


2a. 等 待 客 户 端 发 来 的 SYN TCP segment 
2b. 发 送 一 个 包含 SYN 和 ACK 的 TCP segment 


2c. 忽视 对 方 发 来 的 包含 ACK 的 segment。 


faketcp 服 务 端 在 做 完 头 两 件 事情 ( 收 一 个 SYN、 发 一 个 
SYN+ACK) 之 后 ，TCP 客 户 端 程序 会 认为 连接 已 建立 。 而 做 这 三 件 事 
情 并 不 占用 faketcp 服 务 端的 资源 (为 什么 ? ) 。 换 句 话说，faketcp 服 务 
端 可 以 一 直 重 复 做 这 三 件 事 ， 接 受 不 计 其 数 的 TCP 连 接 ， 而 faketcp 服 务 
端 自己 毫发 无 损 。 我 们 很 快 将 看 到 如 何 用 程序 来 实现 这 一 点 。 

基于 对 以 上 两 个 问题 的 分 析 ， 说 明 单 独 谈论 “TCP 并 发 连接 数 ” 是 没 

意义 的 ， 因 为 连接 数 基本 上 是 要 多 少 有 多 少 。 更 有 意义 的 性 能 指标 
或 许 是 :“ 每 秒 收 发 多 少 条 消息 ">、“ 每 秒 收发 多 少 字 节 的 数据 * “支持 
多 少 个 活动 的 并 发 客户 ”等 等 。 


faketcp 的 程序 实现 


为 了 验证 我 上 面 的 说 法 ， 我 写 了 几 个 小 程序 来 实现 faketcp ， 这 几 
个 程序 可 以 发 起 或 接受 不 计 其 数 的 TCP 并 发 连接 ， 并 且 不 消耗 操作 系统 
资源 ， 连 动态 内 存 分 配 都 不 会 用 到 。 代 码 见 recipes/faketcp ， 可 以 直接 
用 make 编 译 。 

我 家 里 有 一 台 运 行 Ubuntu Linux 10.04 的 PC ，hostname 是 atom， 所 
有 的 试验 都 在 这 上 面 进行 。 家 里 试验 环境 的 网 络 配置 如 图 D-1 所 示 。 
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图 D-1 
我 在 附录 人 A 中 曾 提 到 “可 以 用 TUN/TAP 设 备 在 用 户 态 实 现 一 个 能 与 
本 机 点 对 点 通信 的 TCP/IP 协 议 栈 ”*"， 这 次 的 试验 正好 可 以 用 上 这 个 办 
法 。 试 验 的 网 络 配置 如 图 D-2 所 示 。 
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具体 做 法 是 : 在 atom 上 通过 打开 /dev/net/tun 设 备 来 创建 一 个 tun0 虚 
拟 网 卡 ， 然 后 把 这 个 网 卡 的 地 址 设 为 192.168.0.1/24， 这 样 faketcp 程 序 
就 扮演 了 192.168.0.0/24 这 个 网 段 上 的 所 有 机 器 。atom 发 给 192.168.0.2 一 
192.168.0.254 的 IP packet 都 会 发 给 faketcp 程 序 ，faketcp 程 序 可 以 模拟 其 
中 任何 一 个 IP 给 atom 发 IP packet。 

程序 分 成 几 步 来 实现 。 

第 一 步 : 实现 ICMPecho 协 议 ， 这 样 就 能 ping 通 faketcp 了 。 代 码 见 
recipes/faketcp/icmpecho.cc 。 

其 中 响应 ICMPechorequest 的 函数 是 icmp_inputO0， 位 于 
recipes/faketcp/faketcp.cc 。 这 个 函数 在 后 面 的 程序 中 也 会 用 到 。 

运行 方法 ， 打 开 3 个 命令 行 窗口 : 


1. 在 第 1 个 窗口 运行 sudo .icmpecho， 程 序 显示 


allocted tunnel interface tun0 


2. 在 第 2 个 窗口 运行 


$ sudo ifconfig tun6 192.168.0.1/24 

$ sudo tcpdump -i tung 

3. 在 第 3 个 窗口 运行 

$ ping 192.168.0.2 

$ ping 192.168.0.3 

$ ping 192.168.0.234 

注意 到 每 个 192.168.0.X 的 IP 都 能 ping 通 。 

第 二 步 : 实现 拒绝 TCP 连 接 的 功能 ， 即 在 收 到 SYN TCP segment 的 
时 候 发 送 RST segment。 代码 见 recipes/faketcprejectalLcc 。 

运行 方法 ， 打 开 3 个 命令 行 窗口 ， 头 两 个 窗口 的 操作 与 前 面相 同 ， 
运行 的 faketcp 程 序 是 .rejectall。 在 第 3 个 窗口 运行 
$ nc 192.168.0.2 2000 


$ nc 192.168.0.2 3333 
ne 11939218205 7 5555 


注意 到 向 其 中 任意 一 个 IP 发 起 的 TCP 连 接 都 被 拒 接 了 。 

第 三 步 : 实现 接受 TCP 连 接 的 功能 ， 即 在 收 到 SYN TCP segment 的 
时 候 发 回 SYN+ACK。 这 个 程序 同时 处 理 了 连接 断 开 的 情况 ， 即 在 收 到 
FIN segment 的 时 候 发 回 FIN+ACK。 代 码 见 recipes/faketcp/acceptall.cc 。 

运行 方法 ， 打 开 3 个 命令 行 窗口 ， 步 又 与 前 面相 同 ， 运 行 的 faketcp 
程序 是 ./acceptall。 这 次 会 发 现 nc 能 和 192.168.0.X 中 的 每 一 个 IP 每 一 个 
port 都 能 连通 。 还 可 以 在 第 4 个 窗口 中 运行 netstat -tpn， 以 确认 连接 确实 
建立 起 来 了 。 如 果 在 nc 中 输入 数据 ， 数 据 会 堆积 在 操作 系统 中 ， 表 现 
为 netstat 显 示 的 发 送 队 列 (Send-Q) 的 长 度 增加 。 

第 四 步 : 在 第 三 步 接受 TCP 连 接 的 基础 上 ， 实 现 接收 数据 ， 即 在 
收 到 包含 payload 数 据 的 TCP segment 时 发 回 ACK。 代码 见 
recipes/faketcp/discardall.cc 。 

运行 方法 ， 打 开 3 个 命令 行 窗口 ， 步 又 与 前 面相 同 ， 运 行 的 faketcp 
程序 是 ./discardall。 这 次 会 发 现 nc 能 和 192.168.0.X 中 的 每 一 个 了 P 每 一 个 
port 都 能 连通 ， 数 据 也 能 发 出 去 。 还 可 以 在 第 4 个 窗口 中 运行 netstat - 
tpn， 以 确认 连接 确实 建立 起 来 了 ， 并 且 发 送 队 列 的 长 度 为 0。 


一 步 已 经 解决 了 前 面 的 问题 2， 扮 演 任意 TCP 服 务 端 。 
2 解决 前 面 的 问题 1， 扮 演 客 户 端 向 atom 发 起 任意 多 的 连 
接 。 代 码 见 recipes/faketcp/connectmanycc 。 
这 一 步 的 运行 方法 与 前 面 不 同 ， 打 开 4 个 命令 行 窗口 : 


1. 在 第 1 个 窗口 运行 sudo ./connectmany 192.168.0.1 2007 1000， 表 
示 将 向 192.168.0.1:2007 发 起 1000 个 并 发 连接 。 程 序 显示 


allocted tunnel interface tungo 
press enter key to start connecting 192.168.0.1:2007 


2. 在 第 2 个 窗口 运行 
$ sudo ifconfig tun@ 192.168.0.1/24 
$ sudo tcpdump -i tun® 


3. 在 第 3 个 窗口 运行 一 个 能 接收 并 发 TCP 连 接 的 服务 程序 ， 可 以 是 
httpd， 也 可 以 是 muduo 的 echo 或 discard 示 例 ， 程 序 应 listen 2007 端 口 。 

4. 在 第 1 个 窗口 中 按 回 车 键 ， 再 在 第 4 个 窗口 中 用 netstat -tpn 命 令 
来 观察 并 发 连接 。 


有 兴趣 的 话 ， 还 可 以 继续 扩展 ， 做 更 多 的 有 关 TCP 的 试验 ， 以 进 一 
步 加 深 理解 ， 验 证 操作 系统 的 TCP/IP 协 议 栈 面 对 不 同 输入 的 行为 。 甚 
至 可 以 按 我 在 附录 人 A 中 提议 的 那样 ， 实 现 完整 的 TCP 状 态 机 ， 做 出 一 个 
简单 的 mini tcp stack。 
第 一 道 题 的 答案 
在 只 考虑 IPv4 的 情况 下 ， 并 发 数 的 理论 上 限 是 2* 。 考 虑 某 些 IP 段 
被 保留 了 ， 这 个 上 界 可 适当 缩小 ， 但 数量 级 不 变 。 实 际 的 限制 是 操作 
系统 全 局 文件 描述 符 的 数量 ， 以 及 内 存 大 小 。 
一 个 TCP 连 接 有 两 个 end points， 每 个 end point 是 {ip, port}， 题 目 说 
其 中 一 个 end point 已 经 固定 ， 那 么 留 下 一 个 end point 的 自由 度 ， 即 2* 。 
客户 端 IP 的 上 限 是 2* 个 ， 每 个 客户 端 IP 发 起 连接 的 上 限 是 2* ， 乘 到 一 
起 得 到 理论 上 限 。 
即便 客户 端 使 用 NAT， 也 不 影响 这 个 理论 上 限 。 (为 什么 ? ) 


在 真实 的 Linux 系 统 中 ， 可 以 通过 调整 内 核 参 数 来 支持 上 百 万 并 发 
连接 ， 具 体 做 法 见 : 


http://urbanairship.com/blog/2010/09/29/linux-kernel-tuning-for-c5O0k/ 
http://www.metabrew.com/article/a-million-user-comet-application-with-mochiweb-part-3 


http://www.erlang-factory.com/upload/presentations/558/efsf2012-whatsapp-scaling.pdf 
注释 


1 http://weibo.com/1701018393/eCuxDrtaONn 
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